2

Пишу загрузчик файлов на Selectel. Упрощённо код выглядит примерно так:

filename = 'example_watermarked.jpg'

headers['Content-Length'] = str(os.path.getsize(filename))

files = {
    'file' : open(filename, 'rb')
}

url = auth['url'] + 'images/python_uploader/' + filename

response = requests.put(url, files=files, headers=headers)

Получается следующая вещь - исходный файл 38158 байт. Файл на Селектеле - 38317 байт. Файл, естественно, не открывается. Откуда берутся "лишние" 159 байт? Что я делаю не так?

P.S. os.path.getsize(filename) возвращает 38158, т.е. корректный размер.

P.P.S. Через Postman попробовал, точно так же у меня загрузился битый файл. Только теперь он 38355 байт.

Update: В начало добавился такой вот блок:

--de966cbba4ab406da3dd088e63bd9c7f
Content-Disposition: form-data; name="file"; 
filename="example_watermarked.jpg"

В конец - вот такой:

--de966cbba4ab406da3dd088e63bd9c7f--

Остальное - бинарные данные.

17
  • Попробуйте не указывать Content-Length -- requests сам его установит, к тому же, размер файла на диске может отличаться от реального его размера
    – gil9red
    27 ноя 2017 в 13:32
  • @gil9red я пробовал изначально, то же самое. Тогда уже я явно указал 27 ноя 2017 в 13:33
  • Если можно, попробовать через браузер повторить операцию и посмотреть что отправляется. А пример есть? т.е. ссылку на которую можно было отправить файл и проверить самому что работает
    – gil9red
    27 ноя 2017 в 13:35
  • @gil9red нуууу... Теоретически на своём сайте я могу написать роут, который примет файл, и посмотреть что придёт. Однако вангую, что Селектел не косячит, ибо с соседнего компа коллега через PHP загружает нормально 27 ноя 2017 в 13:37
  • Ну не знаю, пальцем в небо: 1. а через post можно файлы отправить? 2. а какая версия питона/requests? 3. Попробуйте включить логирование requests и посмотреть запрос: github.com/gil9red/SimplePyScripts/blob/…
    – gil9red
    27 ноя 2017 в 13:46

2 ответа 2

3

Написал в техподдержку, вот что они мне ответили:

Попробуйте, пожалуйста, передавать в запросе не сам объект а его тело. Пример кода:

import requests

headers = {"X-Auth-User": "0000", "X-Auth-Key": "xxxxxxxxx"}

r = requests.get("https://auth.selcdn.ru/", headers=headers)

assert r.status_code is 204

auth_token = r.headers.get("X-Auth-Token")
storage_url = r.headers.get("X-Storage-Url")


filename = "sample-pic-4.jpg"
data = open(filename, "rb").read()

r = requests.put(storage_url + "testcontainer/testupload/" + filename, data=data, headers={"X-Auth-Token": auth_token})
r.raise_for_status()

я переписал свой код с учётом их поправки, всё заработало

2
  • То есть, если захотим загрузить файл в несколько гигабайт в контейнер, то сначала нужно в любом случае грузить в память, а потом уже в контейнер.
    – insolor
    28 ноя 2017 в 18:55
  • @insolor к счастью, такой задачи пока не стоит. Если возникнет - напишу им снова :) 28 ноя 2017 в 19:24
1

Все сходится к тому, что Selectel API неправильно обрабатывает файлы, отправленные методом POST с Content-Type: multipart/form-data, RFC 7578.

См. тут например: Генерация HTTP запросов, Метод POST, пример запроса из этой статьи:

POST http://www.site.ru/postnews.html HTTP/1.0\r\n 
Host: www.site.ru\r\n 
Referer: http://www.site.ru/news.html\r\n 
Cookie: income=1\r\n 
Content-Type: multipart/form-data; boundary=1BEF0A57BE110FD467A\r\n
Content-Length: 491\r\n
\r\n
--1BEF0A57BE110FD467A\r\n
Content-Disposition: form-data; name="news_header"\r\n
\r\n
Пример новости\r\n
--1BEF0A57BE110FD467A\r\n
Content-Disposition: form-data; name="news_file"; filename="news.txt"\r\n
Content-Type: application/octet-stream\r\n
Content-Transfer-Encoding: binary\r\n
\r\n
А вот такая новость, которая лежит в файле news.txt\r\n
--1BEF0A57BE110FD467A--\r\n

В вашем вопросе de966cbba4ab406da3dd088e63bd9c7f - это boundary, т.е. метка, обозначающая границы блока данных. При приеме начальная метка, служебные данные после нее до двойного переноса строки и конечная метка должны обрезаться.

Отсутствие поддержки данного варианта запроса, насколько я понимаю, приведет к тому, что перед отправкой файл придется полностью грузить в память, и если этот файл "весит" несколько гигабайт, то это уже становится проблемой.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.