4

Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне это сделать? pandas такое не сможет обработать скорее всего, просто оперативки не хватит.

3
  • (недавно где-то видел в ответах или комментариях) У метода pandas.read_csv есть параметр memory_map, который позволяет не читать файл в память, а работать с ним напрямую.
    – insolor
    27 сен 2019 в 5:57
  • @insolor, выдает ошибку TypeError: cannot use a string pattern on a bytes-like object 27 сен 2019 в 6:30
  • Приведите в вопросе небольшие примеры входных данных (по 3-7 строк) и пример того, что должно получиться в результате, чтобы было понятно по каким критериям объединяются и фильтруются таблицы 27 сен 2019 в 6:38

1 ответ 1

5

Можно воспользоваться Dask DataFrame вместо Pandas. Dask умеет обрабатывать DataFrame на диске - т.е. такие, которые не помещаются в память. Обычно Dask работает гораздо медленнее Pandas и его API гораздо беднее.

Кроме этого можно прочитать в память только те столбцы, которые участвуют в объединении и фильтрации (если эти данные влезают в память), выбрать только соответствующие строки и дальше читать из CSV файлов только соответствующие строки.

Но проще всего для данных задач использовать базы данных, например MySQL или PostgreSQL - они с легкостью обрабатывают данные, которые не помещаются в памяти. Кроме этого они поддерживают индексацию, что может значительно ускорить обработку данных.

Кстати в большинстве БД существуют специальные утилиты для быстрой загрузки CSV файлов в БД: PostgreSQL: COPY, MySQL: LOAD DATA

3
  • 3
    Тоже пришёл к решению с БД, так будет проще и быстрее всего 27 сен 2019 в 10:37
  • а можно ли использовать SQLite для этой задачи? 7 окт 2019 в 6:32
  • @Ratatuy129, можно попробовать, но SQLite гораздо беднее в плане возможностей и наверняка будет медленнее работать... 7 окт 2019 в 6:36

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.