4

Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне это сделать? pandas такое не сможет обработать скорее всего, просто оперативки не хватит.

3
  • (недавно где-то видел в ответах или комментариях) У метода pandas.read_csv есть параметр memory_map, который позволяет не читать файл в память, а работать с ним напрямую.
    – insolor
    27 сен 2019 в 5:57
  • @insolor, выдает ошибку TypeError: cannot use a string pattern on a bytes-like object 27 сен 2019 в 6:30
  • Приведите в вопросе небольшие примеры входных данных (по 3-7 строк) и пример того, что должно получиться в результате, чтобы было понятно по каким критериям объединяются и фильтруются таблицы 27 сен 2019 в 6:38

1 ответ 1

5

Можно воспользоваться Dask DataFrame вместо Pandas. Dask умеет обрабатывать DataFrame на диске - т.е. такие, которые не помещаются в память. Обычно Dask работает гораздо медленнее Pandas и его API гораздо беднее.

Кроме этого можно прочитать в память только те столбцы, которые участвуют в объединении и фильтрации (если эти данные влезают в память), выбрать только соответствующие строки и дальше читать из CSV файлов только соответствующие строки.

Но проще всего для данных задач использовать базы данных, например MySQL или PostgreSQL - они с легкостью обрабатывают данные, которые не помещаются в памяти. Кроме этого они поддерживают индексацию, что может значительно ускорить обработку данных.

Кстати в большинстве БД существуют специальные утилиты для быстрой загрузки CSV файлов в БД: PostgreSQL: COPY, MySQL: LOAD DATA

3
  • 3
    Тоже пришёл к решению с БД, так будет проще и быстрее всего 27 сен 2019 в 10:37
  • а можно ли использовать SQLite для этой задачи? 7 окт 2019 в 6:32
  • @Ratatuy129, можно попробовать, но SQLite гораздо беднее в плане возможностей и наверняка будет медленнее работать... 7 окт 2019 в 6:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.