1

Необходимо собрать в учебных целях, допустим, какое-то кол-во новостей с сайта https://inosmi.ru/politic/. Получается собрать новости только до "загрузить еще", то есть только с первой страницы. Подскажите, пожалуйста, как сделать так , чтобы можно было собрать новости с нескольких страниц, там с двух, трех или пяти например.

from bs4 import BeautifulSoup
import urllib.request
req=urllib.request.urlopen('https://inosmi.ru/politic/')
print(req)
html=req.read()
soup=BeautifulSoup(html, 'html.parser')
news=soup.find_all('article', class_='rubric-list__article')
print(len(news))
results=[]
for item in news:
    title=item.find('h1', class_='rubric-list__article-title rubric-list__article-title_small').get_text()
    print(title, end=' ')
    if item.find('a', class_='rubric-list__article-story'):
       desc = item.find('a', class_='rubric-list__article-story').get_text()

    else:
       desc='Без описания'
    print(desc, end=' ')
    href=item.a.get('href')
    print(href, end=' ')
    date=item.find('time', class_='rubric-list__article-date').get_text()
    print(date, end=' ')
    publisher=item.find('address', class_='article-magazine rubric-list__article-magazine').get_text()
    print(publisher, end=' ')

    print(end='\n')

сайт

2
  • Наверное там через JavaScript дальше подгружается, надо Selenium или что-то вроде использовать для полноценной эмуляции браузера
    – CrazyElf
    15 апр 2020 в 15:46
  • Можете посмотреть, какие запросы отправляются. Возможно что-то приезжает через API 15 апр 2020 в 15:54

1 ответ 1

0

Используйте селениум и поиск кнопки по xPath (тк до кнопки, наверное, долистать нужно)

from selenium import webdriver

driver = webdriver.Chrome(executable_path="path to driver")

driver.get('https://example.com')

button = driver.find_element_by_xpath('xpath of the li you are trying to access')
button.click()

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.