Как переключать кнопки страниц для парсинга контента через beautifulsoup, если они изменяют html код, а не атрибуты ссылки (по типу 'site.com/news?page=1').
Вот так выглядят элементы на первой странице:
А вот так на второй:
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуНа первой странице найдите в paginator номер последней (так, например):
last_page = soup.find_all('div', class_='page-button')[-1].text
и делайте поочередно запросы к страницам:
for page in range(1, int(last_page)):
r = request.get(f'site.com/news?page={last_page}')