Нет, дело не в том, что сайту не хватает времени, а в том, как работают запросы из браузера
и через библиотеки типа requests
:
Запрос из браузера:
Вы получаете ответ на запрос - HTML файл, в нем есть теги типа <img>
, <link>
и <script>
. После этого браузер делает еще много запросов, в которых он получает все изображения, тексты всех .css файлов, всех js скриптов. На основе HTML и CSS сам сайт выводится на экран, а БРАУЗЕР запускает JS скрипты, которые уже и меняют итоговую страницу.
Запрос из requests
Вы получаете ответ на запрос - текст HTML файла. И все. .css
файлы вы не получаете, изображения и JS тоже. даже более того, если вы все-таки получите .JS файлы ваша страница никак не изменится, вам нужен будет интерпретатор javaScript, а это уже отдельная и комплексная проблема.
Зачем же тогда нужен requests
? В программе вам обычно не нужен сам текст сайта, достаточно знать, какую информацию передают специальные запросы к API
. Её вы уже и обрабатываете в программе на Python.
И что же делать?
Есть 2 возможных варианта:
Попробуйте изучить, как работает интересующий вас сайт, используя инструменты разработчика в браузере (вкладка Network скорее всего будет самой полезной), возможно нужную информацию вы сможете получить специальным запросом к api сайта и обработкой JSON'a который он может вернуть.
Использовать selenium
: он позволяет программно запустить браузер и имитировать реальные человеческие действия (Нажатие кнопок, ввод данных)
Там же можно сделать задержку после страницы, чтобы JS скрипты отработали так, как вам нужно, а уже после неё получать тест сайта и всё нужную информацию