0

Есть определённый сайт на который я отправляю get запрос, но страничка этого сайта со временем изменяется скриптом и в итоге я получаю не тот html файл который должен быть. Для того чтобы это исправить нужно дать время сайту перед тем как он отправит ответ на запрос, но как это сделать не знаю. Заранее спасибо Вот код:

import requests
s = requests.Session()
r = s.get('URL')
print(r.text)

2 ответа 2

1

Нет, дело не в том, что сайту не хватает времени, а в том, как работают запросы из браузера и через библиотеки типа requests:

Запрос из браузера:

Вы получаете ответ на запрос - HTML файл, в нем есть теги типа <img>, <link> и <script>. После этого браузер делает еще много запросов, в которых он получает все изображения, тексты всех .css файлов, всех js скриптов. На основе HTML и CSS сам сайт выводится на экран, а БРАУЗЕР запускает JS скрипты, которые уже и меняют итоговую страницу.

Запрос из requests

Вы получаете ответ на запрос - текст HTML файла. И все. .css файлы вы не получаете, изображения и JS тоже. даже более того, если вы все-таки получите .JS файлы ваша страница никак не изменится, вам нужен будет интерпретатор javaScript, а это уже отдельная и комплексная проблема.

Зачем же тогда нужен requests? В программе вам обычно не нужен сам текст сайта, достаточно знать, какую информацию передают специальные запросы к API. Её вы уже и обрабатываете в программе на Python.

И что же делать?

Есть 2 возможных варианта:

  1. Попробуйте изучить, как работает интересующий вас сайт, используя инструменты разработчика в браузере (вкладка Network скорее всего будет самой полезной), возможно нужную информацию вы сможете получить специальным запросом к api сайта и обработкой JSON'a который он может вернуть.

  2. Использовать selenium: он позволяет программно запустить браузер и имитировать реальные человеческие действия (Нажатие кнопок, ввод данных) Там же можно сделать задержку после страницы, чтобы JS скрипты отработали так, как вам нужно, а уже после неё получать тест сайта и всё нужную информацию

1
  • И вам спасибо за объяснение! 27 июл 2021 в 11:13
1

Для этого, думаю, будет лучше использовать selenium.

from selenium import webdriver
import time

ops = webdriver.ChromeOptions()
ops.add_argument('headless')
driver = webdriver.Chrome("chromedriver.exe", options=ops)
driver.get(url)
time.sleep(30) # Время ожидания
html = driver.page_source
2
  • спасибо сейчас попробую 27 июл 2021 в 10:33
  • Да, это действительно помогло. Спасибо 27 июл 2021 в 11:13

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.