1

Как переключать кнопки страниц для парсинга контента через beautifulsoup, если они изменяют html код, а не атрибуты ссылки (по типу 'site.com/news?page=1').

Вот так выглядят элементы на первой странице:

Первая страница сайта

А вот так на второй:

Вторая страница сайта

0

1 ответ 1

2

На первой странице найдите в paginator номер последней (так, например):

last_page = soup.find_all('div', class_='page-button')[-1].text

и делайте поочередно запросы к страницам:

for page in range(1, int(last_page)):
    r = request.get(f'site.com/news?page={last_page}')
4
  • В том то и дело, что сайт НЕ изменяет url никаким образом после смены страницы. Так же он не перезагружается 6 мар 2021 в 16:45
  • @MemeDownOleg дайте адрес сайта
    – Jack_oS
    6 мар 2021 в 16:46
  • жуть... убирайте ссылку )) поищу, похоже, где-то есть js, который насыпает гифки на страницу, пока не нашел
    – Jack_oS
    6 мар 2021 в 17:14
  • Ещё раз прошу прощения, спасибо за помощь 6 мар 2021 в 17:15

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.