Парсер получает список ссылок а затем проходит по каждой из них отдельно в цикле for но вот проблема на 59 итерации выдает ошибку:
import requests
from bs4 import BeautifulSoup
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
def soup_get(url):
req = requests.get(url, headers=headers)
src = req.content
soup = BeautifulSoup(src, "lxml")
return soup
main_url = "https://www.dohod.ru/ik/analytics/dividend"
soup = soup_get(main_url)
first_page_urls = soup.find("tbody").find_all("a")
items = []
for item in first_page_urls:
item = "https://www.dohod.ru/" + item.get("href")
# print(item)
items.append(item)
i = 0
for page_url in items:
soup = soup_get(page_url)
info_block = soup.find("div", class_="main_content")
div_name = info_block.find("h1")
perc_block = soup.find("td", class_="greendark")
i += 1
print(i, div_name.text, perc_block.text, "%")
Причина того что обратно я получаю "None" а я не могу пременить к "None" метод .text
Как пропускатить все "None" в списке?
50 Дивиденды ФСК ЕЭС 8.36% %
51 Дивиденды ФСК ЕЭС 8.36% %
52 Дивиденды Русгидро 8.28% %
53 Дивиденды Башнефть-ао 8.25% %
54 Дивиденды Черкизово 8.2% %
55 Дивиденды Сбербанк-ао 8.16% %
56 Дивиденды МТС 11.3% %
57 Дивиденды НМТП 50% %
58 Дивиденды НМТП 50% %
59 Дивиденды Роснефть 44.34% %
60 Дивиденды Газпром нефть 10.58% %
Traceback (most recent call last):
File "c:\Users\AlphaObelisk\Desktop\Python\Scrapping\stackoverflow.com scrapper 01.py", line 35, in <module>
print(i, div_name.text, perc_block.text, "%")