Мне нужно получить число завершенных объявлений у продавца с юлы вот с этой странице, но страница, как я понял подгружается при помощи js и из-за этого не удается получить весь html код.
Можно ли это как-то реализовать, не используя Selenium?
ps Использую Python 3.8
1 ответ
Можно эмулировать работу браузера, то есть посылать запросы на сервер так же, как это делает страница.
Скорее всего, там используется REST - архитектура, и скрипт начинает посылать запросы серверу ппосле того как страница загружена.
Можно перехватить эти запросы, посмотреть, как устроен протокол - наверняка, это не рокет сайенс - и сделать то же самое, но уже из своей программы.
Инструментов, котрые позволяют это сделать, довольно много, начать можно с Fiddler - он, конечно, мощный как танк (и иногад так же плохо заводится), но если его удалось запустить - то он своё дело сделает!
А еще можно сделать ппоиск по "rest youla" и попасть на вот такой сайт с документацией: https://rest-app.net/api-youla
Дополнение. вчитался, и понял, что rest там очень даже не бесплатный. Возможно, способ самостотельно исследовать протокол всё же лучше. Но, также, возможно, что кто то это уже делал. Сходу удалось найти проект https://github.com/jesushatesu/parseYoula, и код там - довольно понятный и с комментариями. Надеюсь, поможет!