2

Имеется bin файл с датасетом. Размер его около 73 GB. необходимо конвертировать в npy.

Как это сделать грамотно, избежав нехватки памяти, ведь он пытается все 73 GB залить в ram?

import numpy as np

arr = np.fromfile(r'D:\ImageNet\ILSVRC2015\CLS-LOC\Bin\train_1152197.bin', dtype=np.float64)
np.save('D:\ImageNet\ILSVRC2015\CLS-LOC\Bin\IMAGENET_train.npy', arr)

1 ответ 1

3

Вы можете использовать аргумент np.load(..., mmap_mode='r'). Объект np.memmap позволяет использовать срезы - при этом с диска будет прочитаны только те данные, которые указаны в срезе:

data = np.load(filename, mmap_mode='r')
X = data[100000:200000]

A memory-mapped array is kept on disk. However, it can be accessed and sliced like any ndarray. Memory mapping is especially useful for accessing small fragments of large files without reading the entire file into memory.

4
  • Данный аргумент работает с npy и npz файлами. В моем случае надо открыть bin и сохранить в np. После попытки сделать, выдает следующее: "Failed to interpret file %s as a pickle" % repr(file)) OSError: Failed to interpret file 'D:\\ImageNet\\ILSVRC2015\\CLS-LOC\\Bin\\train_1152197.bin' as a pickle
    – Zolberg101
    20 сен 2019 в 7:50
  • Может не корректно выразился в постановке вопроса, но мне необходимо конвертировать большой bin файл в npy. np.memmap с аргументом offset выражает смещение по файлу и начинает стартовать с точки offset и до конца. Кортеджом не получается. А мне необходимо, чтобы он кусок оттуда вырезал фактически. Либо по очереди вырезал куски и конкатенировал с предыдущими.
    – Zolberg101
    20 сен 2019 в 8:27
  • @Zolberg101, я не знаю как создавался данный ".bin" файл. По идее все должно работать... 20 сен 2019 в 8:43
  • да, работает с npy файлом, но не хочет ни в какую в бинарниками. Причем моим путём, бинарник работает. Попробую совместить твой и мой метод. Только потом ещё бы склеим нормально их :)
    – Zolberg101
    20 сен 2019 в 13:51

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.