Есть CSV файл, содержащий 8 столбцов и огромное количество строк исключительно числовых данных.
Как проще всего удвоить значение каждой ячейки?
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуЕсть CSV файл, содержащий 8 столбцов и огромное количество строк исключительно числовых данных.
Как проще всего удвоить значение каждой ячейки?
Используя Pandas, это исключительно просто и гораздо быстрее по сравнению с решениями, использующими циклы:
import pandas as pd
pd.read_csv('/path/to/file.csv').mul(2).to_csv('/path/to/result.csv', index=False)
Или, если в вашем CSV отсутствуют имена колонок:
(pd.read_csv('/path/to/file.csv', header=None)
.mul(2)
.to_csv('/path/to/result.csv', header=None, index=False)
)
Если все данные не вмещаются в памяти, Pandas позволяет обработать данные по частям (chunks):
for chunk in pd.read_csv('/path/to/file.csv', header=None, chunksize=10**6):
chunk.mul(2).to_csv('/path/to/result.csv', header=None, index=False, mode='a')
Тест
Генерим тестовые данные:
In [80]: x = pd.DataFrame(np.random.rand(10**6, 8))
In [81]: x.shape
Out[81]: (1000000, 8)
In [82]: x.head()
Out[82]:
0 1 2 3 4 5 6 7
0 0.890351 0.814333 0.436384 0.477630 0.394325 0.339082 0.205078 0.033898
1 0.749606 0.045757 0.850344 0.496043 0.727086 0.717089 0.086069 0.826920
2 0.703955 0.492983 0.105174 0.298543 0.008731 0.885632 0.233774 0.046960
3 0.053236 0.024155 0.126744 0.139082 0.475896 0.747354 0.772720 0.816470
4 0.439865 0.344010 0.301929 0.528090 0.462750 0.113415 0.621818 0.796230
In [83]: x.to_csv('c:/temp/file.csv', index=False, header=None)
Размер C:\Temp\file.csv
- 148MiB
Замер скорости на моем обычном (не SSD) диске:
In [84]: %%timeit
....: (pd.read_csv('c:/temp/file.csv', header=None)
....: .mul(2)
....: .to_csv('c:/temp/result.csv', header=None, index=False)
....: )
....:
1 loop, best of 3: 30.4 s per loop
Результат: 30 секунд на чтение исходного CSV, умножение всех элементов и запись результата обратно в CSV для 1-го миллиона строк и 8-ми столбцов
Если необходимо выполнить задачу, используя только стандартную библиотеку (иначе pandas
как @MaxU продемонстрировал идеально подходит для данной задачи):
#!/usr/bin/env python3
import fileinput
import sys
with fileinput.FileInput(inplace=True, backup='.bak') as file:
for line in file:
try: # multiply whitespace-separated float numbers
print(*[2*float(f) for f in line.split()])
except ValueError as e:
print("Can't parse %r line, error: %s" % (line, e), file=sys.stderr)
Данный код модифицирует файлы, заданные в командной строке, или stdin. Каждый исходный файл перемещается в *.bak
файл на случай ошибки и stdout перенаправлен в исходный файл, чтобы изменения по месту производить.