0

Есть такой проект на github - django-proxy. Он использует библиотеку requests. По сути в представлении происходит трансляция заголовков, метода запроса и его тела в requests. Суть вопроса в следующем: Если тело запроса будет очень большим (например, это put запрос очень большого, в несколько гигабайт файла) - как поведёт себя код:

requests_args['data'] = request.body # mjumbewu/django-proxy/views.py #27
response = requests.request(request.method, url, **requests_args) #views.py #45

Беспокоит прежде всего как эти данные будут переданы между django request.body и requsets.request - будут ли они переданы как stream, либо сохранены в некоторый временный файл на диске, или (худший из вариантов) будут закачены в ОЗУ, затем в requests? Можно ли управлять политикой передачи в данном случае? Идеальный вариант - stream. Чуть хуже - через временный файл. ОЗУ вообще не рассматриваем. Вопрос именно в необходимости "переделывания" данного кода в контексте наличия запросов с большим объемом данных.

5
  • 3
    request.body это байтовая строка, так что читается целиком в память (лениво, при первом обращении к request.body). Теоретически можно читать постепенно через request.read(сколько байт прочитать), но это разумеется нужно сам django-proxy переделывать
    – andreymal
    Commented 25 сент. 2019 в 9:19
  • 1
    Если без изменений кода - можно, конечно, манкипатчить requests.request(request.method, url, stream=True, **requests_args) и подменить HttpResponse StreamingHttpResponse'ом, но без тестов (а их там вообще нет) такой костыль в прод пускать нельзя.
    – hoefling
    Commented 27 сент. 2019 в 20:17
  • 1
    Там, кстати, даже есть PR, предлагающий это - можешь потестить локально, pip install git+https://github.com/randoms/django-proxy
    – hoefling
    Commented 27 сент. 2019 в 20:20
  • Удалось сделать через chunk - read. ОЗУ не сжирается. Но почему то файл блокируется до полной загрузки на сервер, после чего функция его чтения начинает работу. Commented 3 окт. 2019 в 9:39
  • stream = True помогло. Ответ ниже. Commented 3 окт. 2019 в 9:55

1 ответ 1

0

Решил проблему.

def chunk_req(file, block_size=1024, chunks=-1):
    while chunks:
        data = file.read(block_size)
        if not data:
            break
        yield data
        chunks -= 1


def proxy_files(request):
    for filename, file in request.FILES.items():
        upload_url = 'http://domain.com/upload'
        requests.put(upload_url, data=chunk_req(file), stream = True)
    return HttpResponse('OK')

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.