Доброго времени суток уважаемые разработчики!
Поставлена задача - спарсить один государственный федеральный реестр. На уровне текстовых гайдов всё идёт хорошо, response крутится, информация мутится (я имею в виду что парсинг проходит успешно). Но когда я присылаю запрос на федресурс, ответ отличается от полученного мной при работе через браузер.
<html>
<body>setting cookie...
<script type="text/javascript" src="/aes.min.js"></script>
<script>
function toNumbers(d) {
var e = [];
d.replace(/(..)/g, function(d) {
e.push(parseInt(d, 16))
});
return e
}
function toHex() {
for (var d = [], d = 1 == arguments.length && arguments[0].constructor == Array ? arguments[0] : arguments, e = "", f = 0; f < d.length; f++) e += (16 > d[f] ? "0" : "") + d[f].toString(16);
return e.toLowerCase()
}
var a = toNumbers("a5d336456923c08c4042feb7a6e9c76c"),
b = toNumbers("4663d81327b119ab355f060577e92509"),
c = toNumbers("4044f48930dde01775c642fb92f2ec68"),
now = new Date(),
time = now.getTime();
time += 3600 * 1000;
now.setTime(time);
document.cookie = "bankrotcookie=" + toHex(slowAES.decrypt(c, 2, a, b)) + "; expires=" + now.toUTCString() + "; path=/";
location.href = "https://bankrot.fedresurs.ru/TradeList.aspx?attempt=1";
</script>
</body>
</html>
Это я получаю при парсинге через Python.
При этом я полностью копирую заголовки, которые присылает мой браузер, и отправляю их вместе с запросом, но ответ всё равно отличается от полученного настоящим человеком.
import requests
headers = {
"authority": "bankrot.fedresurs.ru",
"method": "GET",
"path": "/TradeList.aspx",
"scheme": "https",
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,"
"application/signed-exchange;v=b3;q=0.9",
"accept-encoding": "gzip, deflate, br",
"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
"cache-control": "max-age=0",
"cookie": "cookie",
"referer": "https://bankrot.fedresurs.ru/ArbitrManagersList.aspx",
"sec-ch-ua": '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
"sec-ch-ua-mobile": "?0",
"sec-fetch-dest": "document",
"sec-fetch-mode": "navigate",
"sec-fetch-site": "same-origin",
"sec-fetch-user": "?1",
"upgrade-insecure-requests": "1",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)"
"Chrome/92.0.4515.107 Safari/537.36"
}
url = 'https://bankrot.fedresurs.ru/TradeList.aspx'
r = requests.get(url, headers=headers)
print(r.text)
Подскажите пожалуйста, что мне нужно сделать, чтобы получить нормальный ответ от сервера?