Есть несколько CSV файлов, которые я хочу объединить в один.
Изначально воспользовался ответом, который предлагает следующее:
import fileinput
import glob
file_list = glob.glob("*.csv")
with open('result.csv', 'w') as file:
input_lines = fileinput.input(file_list)
file.writelines(input_lines)
Проблема оказалась в том, что при объединении не добавляется перенос строки после очередного файла (т.е. первая строка второго файла оказывается совмещена с последней строкой первого файла). Кроме того, каждый CSV файл имеет заголовок (одинаковый для всех), который хорошо бы убрать у всех фалов, кроме первого.
Сейчас объединяю вручную:
with open(target_filename, 'w') as target_file:
file_counter = 0
for file_ in files:
line_counter = 0
for line in open(file_, 'r'):
if line_counter == 0 and file_counter > 0:
target_file.write('\r\n')
else:
target_file.write(line)
line_counter += 1
file_counter += 1
Каким образом сделать объединение эффективнее?
sed '1d'
(не удалять же ее в каждом файле отдельно, сохраняя его при этом), потом еще совместить с тем что строку последнюю правит ... в общем придумывать и отлаживать дольше чем готовый питон файл обработает и тут уже выигрыш по скорости мизерный, sed все равно придется построчно файл пробегать, а не блочно ... Оптимизация хорошо, но свое время то же надо оптимизировать :)