0

У меня создаётся матрица в pandas, объем которой очень большой. csv файл с матрицей 28Гб. Для дальнейшей работы с матрицей не хватает оперативной памяти.

  1. Часть информации проанализирована, и хочется её удалить, это к сожалению вызывает некоторые проблемы с дальнейшей правильной генерацией матрицы, если есть предложения, напишите, пожалуйста.
  2. Из того что придумал, это удалить всё ниже определённой строки и начать добавлять новые строки. К сожалению нумерация новых строк не продолжается. Как посоветуете добавлять строки в матрицу после удаления через ".drop" строк условно с 0 по 300000 строку. Добавление строк условно с 400000 строки (400001 ...) через ".loc".
  3. Создание новой матрицы, как продолжение старой, строки условно с 300000 по 400000 копируются и снова вопрос о продолжении нумерации. Принципиальной разницы с п.2 вроде нет, кроме сохранения данных и работе с новым файлом.
5
  • А в матрице то что находится? Вообще слова матрица и Pandas не шибко сочетаются. Хотите работать с матрицами - используйте numpy, scipy. Если матрица разреженная, то, возможно, вы можете и ничего не удалять, и у вас останется полно свободного места в памяти, если будете использовать правильный тип данных docs.scipy.org/doc/scipy/reference/sparse.html А Pandas - он для таблиц.
    – CrazyElf
    30 окт 2022 в 7:32
  • Спасибо! Да, можно рассматривать как таблицу состоящую из 0 и 1. И да в ней много "0". и её можно считать разреженной матрицей. Матрица (таблица) расширяется в право и в низ в соответствии с производимыми расчетами. Расчеты простые. Я самоучка в программировании, мне казалось что pandas таблицы состоят из np.array. Я правильно понимаю, что вы советуете в scipy.sparse выполнить формирование исходных данных, и 0 ничего не будут весить? 31 окт 2022 в 14:58
  • Именно так. Да, в Pandas хранятся numpy.array, но хранятся очень неэффективно. Если у вас однотипные данные, а не разнотипные столбцы, то Pandas вам не нужен, он только память и вычислительные ресурсы у вас отнимет. Судя по всему у вас идеальный случай для того, чтобы оставаться в пространстве разреженных матриц. Но нужно понимать, что вы делаете, чтобы не выйти в любой момент в "плотные матрицы" и не потерять внезапно на этом всё ОЗУ )
    – CrazyElf
    31 окт 2022 в 15:03
  • Плохо только, что матрица расширяется в двух измерениях сразу. Там разные типы оптимальны для построчного хранения разреженных матриц и для хранения столбцами. С этим может быть всё не так просто. Но в целом если вам удастся остаться в пространстве разреженных матриц, то экономия памяти будет реально очень большая. Что-то типа того, что там хранятся только координаты единиц в матрице, поэтому чем больше отношение количества нулей к количеству единиц, тем больше экономия памяти. При этом там есть методы для эффективной работы с такими матрицами типа их умножения и т.д.
    – CrazyElf
    31 окт 2022 в 15:05
  • Спасибо огромное! Рост происходит поочередно по направлениям. А значит может быть разделён. Буду разбираться со scipy.sparse Огромный плюс вам в карму! Я лишь буду надеяться что и все мои старания не напрасны и получится что-то стоящее 31 окт 2022 в 15:32

1 ответ 1

0

Задачка не до конца понятна - нет примера данных и нет ожидаемого результата. Попробуйте использовать чтение .csv частями с последующим их объединением.

  1. Нумерация сквозная - индекс формируется автоматически
  2. Каждая часть пересекается с предыдущей (новая часть является продолжением старой) - см. индексы 0-5, 3-8 и т.д.
import pandas as pd

def process(x, part_num):
    # как-то обрабатываем
    print(f'Часть {part_num}', x, sep='\n')

# на основе https://stackoverflow.com/a/47661438/15035314
cnt, pred_chunk = 0, None
for chunk in pd.read_csv(r'c:\test\sample.csv', chunksize=3, sep=';'):
    if pred_chunk is not None:
        cnt += 1
        process(pd.concat([pred_chunk, chunk]), cnt) # объединяем предыдущую и текущую части
    pred_chunk = chunk

Исходный .csv:

Id;Number
id3429;4300805
id7888;4361596
id4590;5191255
id1742;9785553
id2273;9304280
id2404;2398939
id9030;7501318
id1233;6004036
id4664;8726154
id1891;7248669
id5406;7538215
id4529;6783776
id5567;1724566
id6008;9824435
id4266;2872342
id9933;4004131
id5088;8458978
id1017;6279474
id7245;8393577
id1535;7047548
id6765;7572237
id8556;2842737
...

Вывод:

Часть 1
       Id   Number
0  id3429  4300805
1  id7888  4361596
2  id4590  5191255
3  id1742  9785553
4  id2273  9304280
5  id2404  2398939
Часть 2
       Id   Number
3  id1742  9785553
4  id2273  9304280
5  id2404  2398939
6  id9030  7501318
7  id1233  6004036
8  id4664  8726154
2
  • Спасибо! Я правильно понимаю, что часть 1 и часть 2, это выгрузки из исходного .csv? У меня проблема в том, что исходный csv обработан и мне надо строить его (csv) дальше как продолжение предыдущего. А в расчетах важна строка. И я думаю, что можно перенести номер строки в 1 столбец и формировать его отдельной функцией. Всё равно прирост данных сейчас такой большой, что выгрузить целиков это сразу забить всю память и не полуить файл. 31 окт 2022 в 15:05
  • Без понимания способа обработки данных, образца данных и ожидаемого результата, которые не раскрыты, сложно предложить конкретное решение. Поэтому решение я предложил исходя из той информации, которая есть в пп.1-3. В нем номер строки - в данном случае индекс - формируется автоматически, отдельный столбец не требуется. 1 ноя 2022 в 4:26

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.