нужно объединить несколько csv файлов в один. Строки изначальных файлов выглядят вот так:
1623196800000,2021-06-09 00:00:00,BTC/USD,33416.0,33570.0,32928.0,33041.0,5801499.81753867,175.58487387
Я использовал следующий код:
import os
import glob
import pandas as pd
os.chdir("C:/Papers/RawData/1hdata")
extension = 'csv'
all_filenames = [i for i in glob.glob('*.{}'.format(extension))]
combined_csv = pd.concat([pd.read_csv(f) for f in all_filenames ])
combined_csv.to_csv( "combined_csv.csv", index=False, encoding='utf-8-sig')
Однако вместо нужного результата вышло вот это:
1623193200000.0,2021-06-08 23:00:00,BTC/USD,33469.0,33679.0,33342.0,33402.0,4839734.72218386,144.89356093,,,,,,,,
Причём в каких-то клетках идут дополнительные запятые после даты:
1586160000.0,2020-04-06 08:00:00,,,,,,,,,,,,,,,LTC/USD,41.92,42.1,41.83,42.0,61880.73,1474.74,,,,,,,,,,,,,,
Как исправить это безобразие и нормально объединить два файла? Формат всех файлов это csv с данными, разделёнными запятой. Итоговый файл должен содержать все строки первоначальных в их изначальном виде, без добавления неограниченного количества запятых куда попало:)