1

Нужно получить html страницу сайта.
Сразу скажу что хотя Selenium Webdriver решает эту задачу, он кажеться мне слишком жирным для неё.

  1. Ставлю библиотеку requests
  2. Отправляю запрос response = requests.get(https://www.golangnews.com/users/login)
  3. Вывожу ответ print(response.text)

Все работает отлично, но в response не хватает одного поля, которое формируется javascript'ом.
Попросту javascript не успевает сформировать это поле по той причине что, когда requests делает запрос на нужную станицу, он не ждет полной её загрузки а парсит сразу и соответственно html разметку генерируемую javascript'ом мы не получаем.

Вопрос: есть ли какой нибудь способ дождаться полной загрузки страницы и уже после парсить?

1

2 ответа 2

1

С использованием библиотеки requests - нет. Так как тут нет такого понятия, как "загрузка страницы". Мы посылаем конкретный запрос на сервер, нам присылают конкретный ответ. Если проследить историю запросов через браузер, то requests.get() это будет самый первый. Далее идет подгрузка скриптов и таблиц стилей, и, если нужно их загрузить, то нужно сделать отдельные соответствующие запросы. Но это все равно не решит проблему, так как, чтобы в DOM создалось нужно вам поле, скрипт JS нужно где-то выполнить, чтобы он внес соответствующие изменения.

Чем решить вашу задачу? С ходу могу только предложить Selenium. Браузер можно использовать Phantom, чтобы не зависеть от наличия GUI.

Еще варианты готовые затрудняюсь вам назвать. Возможно можно как-то выполнить JS скрипт... Т.е. сохранить HTML из первого запроса и скормить его скрипту. Затем уже парсить измененный файл

1

когда requests делает запрос на нужную станицу, он не ждет полной её загрузки а парсит сразу

Дело в том, что просто получает страницу и разбирает ее парсером, он не умеет работать с 'ом, т.к. не является движком.

Но решение есть – нужно через инструменты разработчика в браузере посмотреть какой запрос отправляется 'ом и повторить его в . Т.к. скорее всего, то получение "всей страницы" это -запрос на указанный адрес, получение ответа и формирование данных из него. Ответом запроса обычно является , реже .

Либо, воспользоваться браузерным движком, который сможет и разобрать, и выполнить, например сделать через selenium

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.