Столкнулся со следующей проблемой. При перезагрузке данных в DataFrame (использовании того же идентификатора) занимаемая память удваивается.
Например:
import pandas as pd
df1 = pd.read_csv('D:\\temp\\PL_1.dsv', sep=';')
df1 = pd.read_csv('D:\\temp\\PL_1.dsv', sep=';')
Пример искусственный, но наглядно показывает проблему. Пусть после первой загрузки в df1
выбранная у системы память будет условных 300Мб. После второй - 600Мб (по данным диспетчера задач Windows).
В моем представлении объект, с которым связан идентификатор df1
, должен удалиться с соответствующим освобождением памяти. Но этого не происходит.
Где-то читал, что python при освобождении памяти не отдает ее обратно системе. Но как быть, если в итоге python выдает ошибку переполнения MemorryError.
Непонятна причина. Kак правильно обрабатывать подобные ситуации?
И даже такой код как
pd.read_csv('D:\\temp\\PL_1.dsv', sep=';').head(1000)
грузит весь файл в память и не освобождает ее. Т.е. в переменной датафрейм из 1000 строк, а памяти занято 500Мб. Как с этим работать - непонятно
del df1
?df1 = df1.drop(labels=0, axis=0)
все равно не понятно как.drop
потребляет такое большое количество памяти, сравнимое или даже больше, чем сам DataFrame, несмотря на то, что используетсяinplace=True
.