1

Необходимо собрать в учебных целях, допустим, какое-то кол-во новостей с сайта https://inosmi.ru/politic/. Получается собрать новости только до "загрузить еще", то есть только с первой страницы. Подскажите, пожалуйста, как сделать так , чтобы можно было собрать новости с нескольких страниц, там с двух, трех или пяти например.

from bs4 import BeautifulSoup
import urllib.request
req=urllib.request.urlopen('https://inosmi.ru/politic/')
print(req)
html=req.read()
soup=BeautifulSoup(html, 'html.parser')
news=soup.find_all('article', class_='rubric-list__article')
print(len(news))
results=[]
for item in news:
    title=item.find('h1', class_='rubric-list__article-title rubric-list__article-title_small').get_text()
    print(title, end=' ')
    if item.find('a', class_='rubric-list__article-story'):
       desc = item.find('a', class_='rubric-list__article-story').get_text()

    else:
       desc='Без описания'
    print(desc, end=' ')
    href=item.a.get('href')
    print(href, end=' ')
    date=item.find('time', class_='rubric-list__article-date').get_text()
    print(date, end=' ')
    publisher=item.find('address', class_='article-magazine rubric-list__article-magazine').get_text()
    print(publisher, end=' ')

    print(end='\n')

сайт

2
  • Наверное там через JavaScript дальше подгружается, надо Selenium или что-то вроде использовать для полноценной эмуляции браузера
    – CrazyElf
    15 апр 2020 в 15:46
  • Можете посмотреть, какие запросы отправляются. Возможно что-то приезжает через API 15 апр 2020 в 15:54

1 ответ 1

0

Используйте селениум и поиск кнопки по xPath (тк до кнопки, наверное, долистать нужно)

from selenium import webdriver

driver = webdriver.Chrome(executable_path="path to driver")

driver.get('https://example.com')

button = driver.find_element_by_xpath('xpath of the li you are trying to access')
button.click()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.