Решил написать парсер который собирает все теги из HTML-кода сайта: news.google.com и сохраняет их в .txt файл Но, при запуске программы мне выводит None.
import urllib.request
from bs4 import BeautifulSoup
class Scraper:
def __init__(self, site):
self.site = site
def scrape(self):
r = urllib.request.urlopen(self.site)
html = r.read()
parser = "html.parser"
sp = BeautifulSoup(html, parser)
for tag in sp.find_all("link"):
url = tag.get("href")
if url is None:
continue
if "html" in url:
print("\n" + url)
news = "https://news.google.com/topstories?hl=ru&gl=RU&ceid=RU:ru"
a = Scraper(news).scrape()
print(a)
f = open("news.txt", "w")
f.write(Scraper(news).scrape())
f.close()