2

На собеседовании задели вопрос:

Как вставить данные в середину большого файла, который не помещается в оперативку ( например 100 гб )?

2

2 ответа 2

7

Если файл текстовый, то в цикле читаем файл построчно, копируем строки в новый файл (результирующий) и проверяем дошли ли мы до места вставки. Если дошли делаем вставку в новый файл и после этого продолжаем читать построчно и копировать в результирующий файл.

Если файл бинарный, то вместо строк читать можно по кускам указав сколько байт мы хотим прочитать за раз:

with open(file, 'rb') as f:
    while True:
        chunk = f.read(1024)  
        if not chunk:
            break
        # process the chunk of data here

Размер куска нужно подобрать так, чтобы место вставки находилось ровно между двумя кусками, а не посередине одного куска данных...

0
4

есть команда seek во многих языках, чтобы писать/считывать из нужного места файла:

в питоне она тоже есть

https://pythonz.net/references/named/file.seek/

кроме того всегда можно решить задачу в лоб и начать считывать файл по частям, записывать по частям, потом записать в нужную часть данные, записать, и дальше опять считывать и записывать файл по частям

но это все таки костылинг, когда есть стандартные функции

1
  • 3
    По вашей же ссылке указано, что все изменения в режиме добавления данных не будут зафиксированы. Ответ MaxU более подходит к этой задаче. 22 янв 2021 в 13:24

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.