0

Парсер получает список ссылок а затем проходит по каждой из них отдельно в цикле for но вот проблема на 59 итерации выдает ошибку:

import requests
from bs4 import BeautifulSoup

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}

def soup_get(url):
    req = requests.get(url, headers=headers)
    src = req.content
    soup = BeautifulSoup(src, "lxml")
    return soup

main_url = "https://www.dohod.ru/ik/analytics/dividend"
soup = soup_get(main_url)
first_page_urls = soup.find("tbody").find_all("a") 

items = []
for item in first_page_urls:
    item = "https://www.dohod.ru/" + item.get("href")
 #   print(item)
    items.append(item)


i = 0
for page_url in items:

    
    soup = soup_get(page_url)
    info_block = soup.find("div", class_="main_content")
    div_name = info_block.find("h1")
    perc_block = soup.find("td", class_="greendark")
    i += 1
    print(i, div_name.text, perc_block.text, "%") 

Причина того что обратно я получаю "None" а я не могу пременить к "None" метод .text

Как пропускатить все "None" в списке?

50 Дивиденды ФСК ЕЭС 8.36% %
51 Дивиденды ФСК ЕЭС 8.36% %
52 Дивиденды Русгидро 8.28% %
53 Дивиденды Башнефть-ао 8.25% %
54 Дивиденды Черкизово 8.2% %
55 Дивиденды Сбербанк-ао 8.16% %
56 Дивиденды МТС 11.3% %
57 Дивиденды НМТП 50% %
58 Дивиденды НМТП 50% %
59 Дивиденды Роснефть 44.34% %
60 Дивиденды Газпром нефть 10.58% %
Traceback (most recent call last):
  File "c:\Users\AlphaObelisk\Desktop\Python\Scrapping\stackoverflow.com scrapper 01.py", line 35, in <module>
    print(i, div_name.text, perc_block.text, "%")

1 ответ 1

1

Добавь проверку после получения блока

if not info_block: continue
2
  • lxml ругнется предупреждением, поэтому всё-таки if info_block is None
    – andreymal
    29 авг 2021 в 16:22
  • Добавил if not perc_block: continue заработало !! =) спасибо друг. 29 авг 2021 в 16:28

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.