0

Доброго времени суток уважаемые разработчики!

Поставлена задача - спарсить один государственный федеральный реестр. На уровне текстовых гайдов всё идёт хорошо, response крутится, информация мутится (я имею в виду что парсинг проходит успешно). Но когда я присылаю запрос на федресурс, ответ отличается от полученного мной при работе через браузер.

<html>

<body>setting cookie...
  <script type="text/javascript" src="/aes.min.js"></script>
  <script>
    function toNumbers(d) {
      var e = [];
      d.replace(/(..)/g, function(d) {
        e.push(parseInt(d, 16))
      });
      return e
    }

    function toHex() {
      for (var d = [], d = 1 == arguments.length && arguments[0].constructor == Array ? arguments[0] : arguments, e = "", f = 0; f < d.length; f++) e += (16 > d[f] ? "0" : "") + d[f].toString(16);
      return e.toLowerCase()
    }
    var a = toNumbers("a5d336456923c08c4042feb7a6e9c76c"),
      b = toNumbers("4663d81327b119ab355f060577e92509"),
      c = toNumbers("4044f48930dde01775c642fb92f2ec68"),
      now = new Date(),
      time = now.getTime();
    time += 3600 * 1000;
    now.setTime(time);
    document.cookie = "bankrotcookie=" + toHex(slowAES.decrypt(c, 2, a, b)) + "; expires=" + now.toUTCString() + "; path=/";
    location.href = "https://bankrot.fedresurs.ru/TradeList.aspx?attempt=1";
  </script>
</body>

</html>

Это я получаю при парсинге через Python.

При этом я полностью копирую заголовки, которые присылает мой браузер, и отправляю их вместе с запросом, но ответ всё равно отличается от полученного настоящим человеком.

введите сюда описание изображения

import requests

headers = {
    "authority": "bankrot.fedresurs.ru",
    "method": "GET",
    "path": "/TradeList.aspx",
    "scheme": "https",
    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,"
              "application/signed-exchange;v=b3;q=0.9",
    "accept-encoding": "gzip, deflate, br",
    "accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
    "cache-control": "max-age=0",
    "cookie": "cookie",
    "referer": "https://bankrot.fedresurs.ru/ArbitrManagersList.aspx",
    "sec-ch-ua": '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
    "sec-ch-ua-mobile": "?0",
    "sec-fetch-dest": "document",
    "sec-fetch-mode": "navigate",
    "sec-fetch-site": "same-origin",
    "sec-fetch-user": "?1",
    "upgrade-insecure-requests": "1",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)"
                  "Chrome/92.0.4515.107 Safari/537.36"
}
url = 'https://bankrot.fedresurs.ru/TradeList.aspx'

r = requests.get(url, headers=headers)
print(r.text)

Подскажите пожалуйста, что мне нужно сделать, чтобы получить нормальный ответ от сервера?

1 ответ 1

1

Скорее всего страница рендерится с помощю js. Тоесть requests загружает страницу внутри которой JS скрипт и он должен интерпретироваться браузером. requests так не может. Попробуйте selenium он отлично умеет притворяться настоящим браузером.
Еще можно попробовать Scrapy + Splash но это будет посложнее.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.