0

и так, хочу скачивать видеофайлы с площадок(нет не YouTube), размер файлов от 300мб до 4гб

скачиваю в данный момент на своем компьютере следующим образом:

def downloader(user_id: int):
    name = f"./cached_mov/{user_id}_{int(time.time())}.mp4"

    with requests.get(link, headers=HEADERS, stream=True) as response:
        with open(name, 'wb') as mov:
            for chunk in response.iter_content(chunk_size=1024 ** 2):
                mov.write(chunk)

    return name

на своём компьютере качается без проблем, но оно качается сначала в оперативную память, а тут её 16гб и соответственно ошибок нет, на сервере же её 1гб, поэтому происходят ошибки.

Хотелось бы скачивать и записывать как то по частям в 20-50 мб за раз, гуглил, выдывало именно этот код, что я предоставил выше, либо же черезе shutil который тоже записывал сначала в оперативку

2
  • А скачиваете вы один файл одновременно или много? Может уменьшить chunk_size попробовать для начала.
    – CrazyElf
    4 янв 2022 в 6:46
  • скачиваю один файл
    – St0rm1k
    4 янв 2022 в 7:12

1 ответ 1

1

этот код пишет сразу в файл, но с буферизацией. сделай mov.flush() если хочется принудительно сбросить буфер на диск.

chunk_size это размер скаченного блока. тут 1 мегабайт.

3
  • 1
    Ну или вообще открывать файл с параметром buffering=0. Но вообще файловый буфер обычно совпадает с размером блока файловой системы, а он довольно маленький, скорее всего дело не в записи в файл, а в стриме скачки.
    – CrazyElf
    4 янв 2022 в 6:45
  • по вашим советам, изменил код на такой with requests.get(link, headers=HEADERS, stream=True) as response: with open(name, 'wb', buffering=0) as mov: for chunk in response.iter_content(chunk_size=1024 ** 2): mov.write(chunk) mov.flush() использование памяти с 56мб выросло до 320 +- и не идёт выше, но файл качается успешно, чтобы оно потребляло меньше, стоит уменьшить chunk_size?
    – St0rm1k
    4 янв 2022 в 7:25
  • flush не нужен при buffering=0. попробуй оставить что-то одно
    – eri
    4 янв 2022 в 14:10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.