2

Работаю с pycharm. Пишу загрузчик видео через апи на сервер вк. В целом все просто - получил ссылку и залил видео методом POST на сервер. Но проблема в том что загрузка видео через питон идет ооочень долго, раз в 10 медленнее точно. Вот так загружаю файл

import requests
from requests_toolbelt import MultipartEncoder

file_ = {'video_file': (mp4, open(full_dir, 'rb'))}
upload_url = '<url>'
payload = MultipartEncoder(file_)
r = requests.post(upload_url, data=payload, headers={'Content-Type': payload.content_type})

Собственно вопрос - от чего такая медленная скорость загрузки и можно ли ее как-то увеличить. Сервера контакта и мой канал точно не при чем.

0

1 ответ 1

4

Результаты измерений с локальным сервером nc -l 1111 | pv >/dev/null на моей машине:

| method                          | 100 MiB/s |
|---------------------------------+-----------|
| ordinary post                   |         5 |
| MultipartEncoder                |       0.5 |
| MultipartEncoder patched read() |         5 |
| curl                            |         5 |
| pycurl                          |         5 |

где

  • ordinary post
  • "MultipartEncoder" метод аналогичен коду в вопросе
  • сurl

    $ curl -v -H "filename: $filename" \
            -H "Content-Type: multipart/form-data" \
            -F "filename=$filename" \
            -F "file=@$filename;type=application/octet-stream" \
            -X POST $url
    
  • pycurl

а "MultipartEncoder patched read()":

import requests
from requests_toolbelt.multipart.encoder import MultipartEncoder

files = {filename: open(filename, 'rb')}
m = MultipartEncoder(files)  # streaming
# improve performance
# https://github.com/requests/toolbelt/issues/75#issuecomment-237189952
m._read = m.read
m.read = lambda size: m._read(1024*1024)
r = requests.post(url, data=m, headers={'Content-Type': m.content_type})

Документация MultipartEncoder содержит предупреждение:

This object [encoder] will end up directly in httplib. Currently, httplib has a hard-coded read size of 8192 bytes.

Из-за относительно маленького размера буфера может ухудшаться скорость. Результаты измерений показывают, что увеличивая размер буфера, заменяя m.read(), можно заметно улучшить производительность.

Стоит упомянуть, что во многих ситуациях узким местом может быть не код, а скорость чтения с диска, пропускная способность сети, производительность удалённого сервера. Всегда измеряйте, прежде чем изменять код.

5
  • В плане производительности железа все ок. Возможно через апи контакта режется скорость, я еще задам этот вопрос их тп. В любом случае Вам спасибо за ответ, возможно дело в буфере, буду пробовать :)
    – Zen
    23 мая 2018 в 9:21
  • Использовал метод m.read - работает как-то странно, сам выбирает с какой скоростью грузить - либо 15% либо 90-65% (замеры загрузки сетевой карты из диспетчера задач) Замер после скачка в 50%, грузил циклом 3 видео [ibb.co/in5swT ]
    – Zen
    23 мая 2018 в 11:13
  • @Zen: у вас сеть 100Мбит/с, то есть даже относительно медленный вариант с MultipartEncoder (без модификаций read()) в несколько раз быстрее чем сеть позволяет работает. То есть код в вопросе уже и так достаточно быстрый должен быть. Сравните с pycurl вариантом (несколько раз попробуйте разные варианты с похожим кодом). Я ожидаю, что скорость ограничивается внешними факторами поэтому, если ошибки в сравнении нет, то похожие результаты по производительности получите.
    – jfs
    23 мая 2018 в 15:12
  • Спасибо за советы, буду тестить, по результатам опишу)
    – Zen
    23 мая 2018 в 15:44
  • В общем код и правда не при чем, отрабатывает отлично. Пробовал с m.read и без, замеры показали что первый вариант значительно быстрее работает. Заработало после перезагрузки pycharm. Возможно на стороне вк были проблемы @jfs Вам огромное спасибо, сам бы мучался еще неделю точно!!!
    – Zen
    23 мая 2018 в 16:44

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.