0

Решил написать парсер который собирает все теги из HTML-кода сайта: news.google.com и сохраняет их в .txt файл Но, при запуске программы мне выводит None.

import urllib.request
from bs4 import BeautifulSoup

class Scraper:
    def __init__(self, site):
        self.site = site

    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = "html.parser"
        sp = BeautifulSoup(html, parser)
        for tag in sp.find_all("link"):
            url = tag.get("href")
            if url is None:
                continue
            if "html" in url:
                print("\n" + url)

news = "https://news.google.com/topstories?hl=ru&gl=RU&ceid=RU:ru"
a = Scraper(news).scrape()
print(a)

f = open("news.txt", "w")
f.write(Scraper(news).scrape())
f.close()
9
  • 3
    Предположу, что контент страницы наполняется при помощи ajax средствами javascript. В этом случае bs4 бесполезен. Вам нужно смотреть в сторону управления браузером (например selenium), а не парсинга статичных html-файлов
    – cauf
    14 авг 2020 в 11:43
  • @cauf Спасибо большое, есть смысл пробовать другие сайты, или сейчас везде таким способом наполняется контент страницы? 14 авг 2020 в 11:51
  • Попробовать - смысл есть. Но найти сайт, отдающи статичные страницы с контентом все сложнее. Если исключительно в образовательных целях, то попробуйте поискать какие-то старые сайты с минимум интерактивности
    – cauf
    14 авг 2020 в 12:40
  • Я создал HTML файл с тэгом <a></a> который при нажатии открывает google.com и открыл его с помощью локального сервера. Ввел туда в коде ссылку "test.ru"(я так назвал домен), и все-равно выводит None. Может ошибка в коде, сможете подсказать пожалуйста? 14 авг 2020 в 13:53
  • Я ничего не понял. Если вы создали какой-то статичный html-файл, то выложите его код (например на pastebin) и дайте ссылку.
    – cauf
    14 авг 2020 в 13:55

2 ответа 2

0

Ошибка банальна - в функции scrape нет return, она ничего не возвращает.

0

Проблема в вашем коде заключается в том, что метод scrape() не возвращает значение, таким образом, когда вы вызываете Scraper(news).scrape(), он просто выводит данные в консоль и ничего не возвращает.

Кроме того, когда вы вызываете метод scrape() в f.write(), он снова просто выводит данные в консоль, но не возвращает ничего. Вместо этого, вам нужно сохранить все найденные теги в переменную и записать их в файл.

import urllib.request
from bs4 import BeautifulSoup

class Scraper:
    def __init__(self, site):
        self.site = site

    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = "html.parser"
        sp = BeautifulSoup(html, parser)
        tags = []
        for tag in sp.find_all():
            tags.append(str(tag))
        return "\n".join(tags)

news = "https://news.google.com/topstories?hl=ru&gl=RU&ceid=RU:ru"
scraper = Scraper(news)
tags = scraper.scrape()
print(tags)

with open("news.txt", "w", encoding="utf-8") as f:
    f.write(tags)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.