У меня есть dataframe которые весят по 25 ГБ каждый. Это выгрузка за 1 день. Pandas очень сильно тормозит когда я их загружаю. Но мне не нужен весь dataframe мне нужны из него некоторые строки. Как можно не читаю dataframe полностью отсеять его колонкам? Например, мне нужно прочитать 5 dataframe и из каждого из них достать только нужные столбцы.
что бы получилось вот так.
Сложность в том что pandas делает это очень медленно, а мне нужно достать информацию из 150 ГБ