У меня создаётся матрица в pandas, объем которой очень большой. csv файл с матрицей 28Гб. Для дальнейшей работы с матрицей не хватает оперативной памяти.
- Часть информации проанализирована, и хочется её удалить, это к сожалению вызывает некоторые проблемы с дальнейшей правильной генерацией матрицы, если есть предложения, напишите, пожалуйста.
- Из того что придумал, это удалить всё ниже определённой строки и начать добавлять новые строки. К сожалению нумерация новых строк не продолжается. Как посоветуете добавлять строки в матрицу после удаления через ".drop" строк условно с 0 по 300000 строку. Добавление строк условно с 400000 строки (400001 ...) через ".loc".
- Создание новой матрицы, как продолжение старой, строки условно с 300000 по 400000 копируются и снова вопрос о продолжении нумерации. Принципиальной разницы с п.2 вроде нет, кроме сохранения данных и работе с новым файлом.
матрица
иPandas
не шибко сочетаются. Хотите работать с матрицами - используйтеnumpy
,scipy
. Если матрица разреженная, то, возможно, вы можете и ничего не удалять, и у вас останется полно свободного места в памяти, если будете использовать правильный тип данных docs.scipy.org/doc/scipy/reference/sparse.html АPandas
- он длятаблиц
.Pandas
хранятсяnumpy.array
, но хранятся очень неэффективно. Если у вас однотипные данные, а не разнотипные столбцы, тоPandas
вам не нужен, он только память и вычислительные ресурсы у вас отнимет. Судя по всему у вас идеальный случай для того, чтобы оставаться в пространстве разреженных матриц. Но нужно понимать, что вы делаете, чтобы не выйти в любой момент в "плотные матрицы" и не потерять внезапно на этом всё ОЗУ )