0

У меня есть dataframe которые весят по 25 ГБ каждый. Это выгрузка за 1 день. Pandas очень сильно тормозит когда я их загружаю. Но мне не нужен весь dataframe мне нужны из него некоторые строки. Как можно не читаю dataframe полностью отсеять его колонкам? Например, мне нужно прочитать 5 dataframe и из каждого из них достать только нужные столбцы.

введите сюда описание изображения что бы получилось вот так. введите сюда описание изображения Сложность в том что pandas делает это очень медленно, а мне нужно достать информацию из 150 ГБ

3
  • откуда читаются данные в DataFrame? 12 авг 2021 в 12:16
  • Все данные на компьютере. Читаю через pd.read_csv 12 авг 2021 в 13:06
  • уточните в вопросе что именно вы хотите отсеять строки или столбцы? 12 авг 2021 в 17:58

1 ответ 1

0

Вообще-то загрузка 25ГБ это никак не быстрый процесс.

Общего рецепта проблемы скорее всего нет. Но если бы такая проблема встала передо мной, я бы попробовал файл читать как текстовый и "на лету" вырезал бы только ту часть информации, которая в дальнейшем пригодится. Не знаю, окажется-ли это быстрее, но Pandas тратит много времени на "угадывание" типа читаемых данных, их трансформацию и пр. Вы можете придумать более простую и удобную структуру и писать в нее. Правда и прелести "Pandas" тогда вам не будут доступны.

Кроме того, вопрос про 150ГБ и "Все данные на компьютере" Это действительно так?

1
  • Кроме того, вопрос про 150ГБ и "Все данные на компьютере" Это действительно так? Да пока это так. Сейчас ищем систему хранения данных. Будем переходить в облако 13 авг 2021 в 13:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.