Делаю парсер сайта на Python, но столкнулся с проблемой. Когда я нажимаю кнопку перехода на следующую станицу каталога, url никаким образом не изменяется. Прочитал в гугле и понял, что это реализовано через ajax-запросы (надеюсь не перепутал). Вопрос в том, как мне переходить на другие страницы сайта через url? Нашёл статью, в которой следуя инструкции я понял, что при нажатии кнопки перехода на следующую страницу, приходит XHR-запрос с словарём. Буду благодарен если кто-то хоть натолкнёт на мысль, как это реализовать. Спасибо
-
Так выполните точно такой же запрос и получите нужные данные =)– Inventor24 ноя 2020 в 17:35
-
@Inventor Не совсем понял что вы имеете ввиду. Дело в том, что url никак не изменяется, а соответственно не могу передать url другой страницы. Всё равно будет парситься первая страница, чей url я и обрабатываю. Получается так, что скрипт парсит 1-ую страницу, переходит на вторую (с помощью имитации нажатия кнопки на Selenium) но данные берёт по старому url, поэтому значения в консоли такие же. Вопрос в том, как сделать что бы скрипт при переходе на следующую страницу парсил её, а не прошлую по url'у– ItsIIIyTh1K25 ноя 2020 в 7:28
-
Не может такого быть, другой url/method/cookie/headers/formdata Иначе сервер возвращал бы тоже самое– Inventor25 ноя 2020 в 7:36
-
@Inventor да, я понимаю. Но конкретно "видимый" url не изменяется. Я могу прикрепить ссылку steamcommunity.com/market/listings/730/…. В том то и дело, что я не знаю как отслеживать тот "невидимый" текст, который идёт после url'а. При нажатии на кнопку перехода на некст страницу приходит xhr-запрос с словарём. Но я в этой теме не силён и понятия не имею как его обрабатывать. С этим мне и нужна помощь– ItsIIIyTh1K25 ноя 2020 в 7:51
-
Добавил ответ .– Inventor25 ноя 2020 в 8:13
1 ответ
Загрузка контента происходит не только по url
, который вы видите в адресной строке браузера, контент так же может загружаться с помощью XHR. Чтобы увидеть как именно это происходит откройте инструменты разработчика в браузере и перейдите во вкладку Network
. Далее переходите по страницам и смотрите какие запросы и куда выполняются.
Посмотрим на пример из комментария к вопросу (https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29
).
Видно что получение контента на страницах происходит по адресу: https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29/render/?query=&start=0&count=10&country=RU&language=russian¤cy=1
В query запросе этого URL меняются параметры start
и count
, которые указывают с какого элемента начать и сколько элементов получить соответственно
-
да, я понимаю что приходит запрос, но как мне его использовать? Я имею ввиду как мне, к примеру, перейти на вторую страницу без нажатия на кнопку? Просто по тому url, который приходит в запросе я получаю словарь и не знаю как его обрабатывать. То есть я понимаю, что нужно изменить start на 10, так как именно такое значение он имеет при переходе на следующую страницу. Но как мне это использовать. Спасибо большое за помощь. 25 ноя 2020 в 8:17
-
@IIIyTH1K используйте модуль
json
в python, чтобы распарсить данные, которые вам приходят, вы получите обычный питоновский словарь, оттуда берите то, что вы хотите– Inventor25 ноя 2020 в 8:19 -
хорошо, а когда я получу данные словаря как мне их применить? Я просто с ajax никогда не работал. Мне нужно отправить запрос с указанием данных по типу start=10 и т.д.? Тогда как это сделать? Спасибо 25 ноя 2020 в 8:24
-
@IIIyTH1K В ответе есть поле
results_html
. там представленhtml
код страницы, парсите его. Но я вам по секрету скажу, что есть ещё полеlistinginfo
, где представлены чистые данные, примерно это вы получите после парсинга– Inventor25 ноя 2020 в 8:27 -
То есть я могу почти не взаимодействовать с самим сайтом, а просто в скрипте формировать запрос на url по типу
https://steamcommunity.com/market/listings/730/Glock-18%20|%20High%20Beam%20(Factory%20New) + /render/?query=&start= + *тут с помощью переменной выбираю необходимое число* +&count= + *тут тоже с помощью переменной выбираю необходимое число* +&country=RU&language=russian¤cy=1
? Тогда ещё такой вопрос, а могу ли я каким-либо образом открыть в браузере, скажем, сразу 23 страницу? То есть возможно ли вообще перейти на необходимую страницу просто использовав url? 25 ноя 2020 в 8:35