0

нужно объединить несколько csv файлов в один. Строки изначальных файлов выглядят вот так:

1623196800000,2021-06-09 00:00:00,BTC/USD,33416.0,33570.0,32928.0,33041.0,5801499.81753867,175.58487387

Я использовал следующий код:

import os
import glob
import pandas as pd
os.chdir("C:/Papers/RawData/1hdata")
extension = 'csv'
all_filenames = [i for i in glob.glob('*.{}'.format(extension))]
combined_csv = pd.concat([pd.read_csv(f) for f in all_filenames ])
combined_csv.to_csv( "combined_csv.csv", index=False, encoding='utf-8-sig')

Однако вместо нужного результата вышло вот это:

1623193200000.0,2021-06-08 23:00:00,BTC/USD,33469.0,33679.0,33342.0,33402.0,4839734.72218386,144.89356093,,,,,,,,

Причём в каких-то клетках идут дополнительные запятые после даты:

1586160000.0,2020-04-06 08:00:00,,,,,,,,,,,,,,,LTC/USD,41.92,42.1,41.83,42.0,61880.73,1474.74,,,,,,,,,,,,,,

Как исправить это безобразие и нормально объединить два файла? Формат всех файлов это csv с данными, разделёнными запятой. Итоговый файл должен содержать все строки первоначальных в их изначальном виде, без добавления неограниченного количества запятых куда попало:)

5
  • 1
    А попросить систему их сконкатенировать - не? она это сумеет явно лучше.
    – Akina
    10 июн 2021 в 17:32
  • Так вроде .concat как раз и конкатенирует 10 июн 2021 в 17:45
  • Ну судя по наблюдаемому эффекту - не только. Или Вы его не так готовите...
    – Akina
    10 июн 2021 в 17:47
  • Если верить документации, pandas.concat объединяет какие-то объекты. Значит, прочитанный из каждого CSV текст преобразуется в объект. И хрен знает, что при этом с ним происходит. Равно как и при объединении... Вы бы использовали обычную конкатенацию строк, что ли. И не забудьте учесть, что CSV-файл, как текстовый, может на конце не иметь ничего, иметь перевод строки, иметь символ конца текстового файла CHR(26), иметь и то, и другое. И при простой конкатенации всё это повлияет на результат.
    – Akina
    10 июн 2021 в 17:53
  • Это надо смотреть исходные файлы, так не глядя сложно догадаться, почему такой эффект. В конце запятые ещё могу предположить - потому что в разных файлах разное кол-во полей, но вот в середине - даже и не знаю.
    – CrazyElf
    10 июн 2021 в 17:56

1 ответ 1

2

В комментариях уже все описали. Так как вам совсем никакая обработка данных не нужна можно попробовать без pandas - просто конкатенировать строки? У меня такое на ура работает) (Только если нет в файлах строки с именами столбцов)

    os.chdir("C:/Papers/RawData/1hdata")
    extension = 'csv'
    all_filenames = [i for i in glob.glob('*.{}'.format(extension))]
    combined_csv = '\n'.join([open(f, 'r', encoding='utf8').read().strip() for f in all_filenames ])
    with open("combined_csv.csv", 'w') as f:
        f.write(combined_csv)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.