1

Собственно имеется: python3.8, веб-сервер (сайт с конкретным url). Сайт очень медленно отдает данные - т.е. при запросе к url, на сайте некоторое время висит кастомная анимация загрузки примерно 5-15 сек. После чего отображается на странице пару таблиц с нужным содержимым (выглядит как простой html), есть некоторая форма для отправки данных на сайт (4 поля ввода текста и кнопка). Так же присутствует некоторый фрейм внутри которого можно скролить записи введенные через форму ранее.

Информации о том, на чем написан сайт не имею (и не факт что получу). Знаю что есть jQuery, и какие-то собственные js+php. Страничка раз в минуту обновляется самостоятельно.

Вопрос: мне необходимо с использованием python вытаскивать уже сгенерированную страничку со всем ее содержимым? requests и aiohttp уже пробовал и либо не правильно готовил, либо что-то не так.

8
  • Ссылку на сайт сможете дать?
    – Andrey
    15 ноя 2019 в 8:27
  • Увы не могу - сайт используется исключительно в intranet
    – jtprogru
    15 ноя 2019 в 8:28
  • пример кода с реквестом покажете? в нем можно время прописать, какое будет реквест запрашивать страницу. если вам джаваскрипт нужно выполнить, то это, например, селениум сделает.
    – Serhii
    15 ноя 2019 в 8:36
  • 1
    @JTProg Если сайт периодически обновляет данные, то попробуйте в браузере в инструментах разработчика посмотреть какие запросы и куда делает сайт. Вкладка Network -> XHR.
    – Andrey
    15 ноя 2019 в 8:41
  • 1
    попробуйте селениум и все. просто, верно, надежно.
    – Serhii
    15 ноя 2019 в 10:34

1 ответ 1

0

Расковыряв весь JS-код который грузился в страничке, я смог найти те самые endpoint'ы которые дергались с помощью JavaScript.

Так же удалось найти разработчика, который делал этот "сайт". Разработчик доделать не решился, но выдал конкретные параметры с которыми можно дергать endpoint'ы.

Вопрос можно считать закрытым.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.