При res = requests.get(url)
код ответа 520
. Это значит, что на удалённом сервере произошла какая-то внутренняя ошибка.
Первая догадка: сервер не ожидал в заголовке
User-Agent
увидеть значение
python-requests/2.22.0
(такой
User-Agent
отправляется по умолчанию, если его явно не указали). Можно попробовать отправить
User-Agent
какого-нибудь браузера. Например,
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36
res = requests.get(
url,
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
)
В таком случае код ответа 200
. Это говорит о том, что всё хорошо. Можно записывать content
ответа в файл
with open(url.split('/')[-1].split('?')[0], 'wb') as f:
f.write(res.content)