0

и так, хочу скачивать видеофайлы с площадок(нет не YouTube), размер файлов от 300мб до 4гб

скачиваю в данный момент на своем компьютере следующим образом:

def downloader(user_id: int):
    name = f"./cached_mov/{user_id}_{int(time.time())}.mp4"

    with requests.get(link, headers=HEADERS, stream=True) as response:
        with open(name, 'wb') as mov:
            for chunk in response.iter_content(chunk_size=1024 ** 2):
                mov.write(chunk)

    return name

на своём компьютере качается без проблем, но оно качается сначала в оперативную память, а тут её 16гб и соответственно ошибок нет, на сервере же её 1гб, поэтому происходят ошибки.

Хотелось бы скачивать и записывать как то по частям в 20-50 мб за раз, гуглил, выдывало именно этот код, что я предоставил выше, либо же черезе shutil который тоже записывал сначала в оперативку

2
  • А скачиваете вы один файл одновременно или много? Может уменьшить chunk_size попробовать для начала.
    – CrazyElf
    4 янв 2022 в 6:46
  • скачиваю один файл
    – St0rm1k
    4 янв 2022 в 7:12

1 ответ 1

1

этот код пишет сразу в файл, но с буферизацией. сделай mov.flush() если хочется принудительно сбросить буфер на диск.

chunk_size это размер скаченного блока. тут 1 мегабайт.

3
  • 1
    Ну или вообще открывать файл с параметром buffering=0. Но вообще файловый буфер обычно совпадает с размером блока файловой системы, а он довольно маленький, скорее всего дело не в записи в файл, а в стриме скачки.
    – CrazyElf
    4 янв 2022 в 6:45
  • по вашим советам, изменил код на такой with requests.get(link, headers=HEADERS, stream=True) as response: with open(name, 'wb', buffering=0) as mov: for chunk in response.iter_content(chunk_size=1024 ** 2): mov.write(chunk) mov.flush() использование памяти с 56мб выросло до 320 +- и не идёт выше, но файл качается успешно, чтобы оно потребляло меньше, стоит уменьшить chunk_size?
    – St0rm1k
    4 янв 2022 в 7:25
  • flush не нужен при buffering=0. попробуй оставить что-то одно
    – eri
    4 янв 2022 в 14:10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.