0

Есть функция которая заменяет нужные символы в файле (файл 10 гигабайт +- 5гб), написана она так:

def replace_in_file(replacements, path_to_file, encoding='utf-8'):
    file_name = os.path.basename(path_to_file)
    temp_path = f'{path_to_file[:-len(file_name)]}{datetime.now().timestamp()}_{file_name}'
    with open(path_to_file, 'r', encoding=encoding, buffering=8192) as file_from:
        with open(temp_path, 'w', encoding=encoding, buffering=8192) as file_to:
            for line in file_from:
                for from_, to_ in replacements.items():
                    line = line.replace(from_, to_)
                file_to.write(line)
    os.remove(path_to_file)
    os.rename(temp_path, path_to_file)

Когда локально запускаю программу, то она спокойно работает, суммарно занимая не больше полтора гигабайта в памяти. Но всё почему-то работает иначе на сервере с убунтой.

Делал и без buffering, результат такой-же. Там, как я выяснил опытным путём, процесс замены строк сжирает до 15 гигабайт памяти и убивается. Подскажите пожалуйста, что я мог тут упустить?

UPD:
Дело тут в чтении файла. Пробовал разные способы, с readline и с помощью генератора, ничего не помогает, на третьей итерации процесс умирает.

6
  • Попробуйте считывать файл посточно с помощью readline. docs
    – 5c0rp
    18 июн 2021 в 9:46
  • Посмотрите тему stackoverflow.com/questions/16669428/… 18 июн 2021 в 9:48
  • @5c0rp Пробовал, всё рушится на третьей строке при чтении файла. Но на локальной машине windows, всё работает отлично 21 июн 2021 в 9:04
  • @AndyPavlov ничего из этого не помогло 21 июн 2021 в 9:05
  • А много ли самих replacements?
    – CrazyElf
    23 июн 2021 в 10:07

1 ответ 1

1

Помогло чтение файла кусками, а не построчно:

with open(path_to_file, 'r', encoding=encoding) as source, open(temp_path, 'w', encoding=encoding) as output:
    while line := source.read(chunk_size):
            ...

Но тут надо учитывать то, что часть заменяемого слова может быть разбита в несколько чанков(в зависимости от размера чанков и заменяемых слов). Это имплементируйте уже на свой вкус и цвет)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.