1

Подскажите, пожалуйста. Есть задача взять веб-страницу (например, любую из lenta.ru), убрать всё лишнее и оставить только текст.
Видимо между тегами <p> и </p>. Далее готовый текст сохранить в текстовом файле.


from bs4 import BeautifulSoup
import urllib.request

site = 'https://lenta.ru/news/2019/10/17/competition/'
resp = urllib.request.urlopen(site)
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

for link in soup.find_all('p', href=True):
    print(link['href'])

Пересмотрел много примеров работы с request и BeautifulSoup, но общего понимания нет.

Каким образом это можно реализовать?

4
  • А каким образом можно реализовать тоже самое, но чтобы парсер любой сайт мог обрабатывать. Убирать лишние теги, брать только полезный текст и сохранять его в файл.
    – Артур
    20 окт 2019 в 11:58
  • Что такое полезный текст? Как Вы отличаете полезный текст от другого? 20 окт 2019 в 13:38
  • И почему у Вас в вопросе фигурирует "без сторонних библиотек", но Вы используете BeautifulSoup и requests? 20 окт 2019 в 13:44
  • Под полезным имею ввиду, например саму статью с заголовком, за вычетом ссылок, спамов, и т.д. А про сторонние не так выразился... Имел ввиду, не используя готовые скраперы.
    – Артур
    20 окт 2019 в 13:51

1 ответ 1

0

Попробуйте так:

import os
from bs4 import BeautifulSoup   # для разбора html     # pip install bs4
import requests                 # для доступа к сайту  # pip install import requests


class Content:
    def __init__(self, url, title, body):
        self.url   = url
        self.title = title
        self.body  = body


def get_page(url):
    req = requests.get(url)

    if req.status_code == 200:
        return BeautifulSoup(req.text, 'html.parser')
    return None 

def news_form_lenta(url):
    bs = get_page(url)
    if bs is None:
        return bs
    titleBs = bs.find("title")
    if titleBs:
        title = titleBs.text
    else: title = ' '
    lines = bs.find_all("p")
    body  = '\n'.join([line.text.strip() for line in lines])
    return Content(url, title, body)


#content = news_form_lenta('https://lenta.ru/news/2019/10/17/competition/')
# или
content = news_form_lenta('https://ru.stackoverflow.com/questions/1036579/Выборка-чистого-текста-из-web-страницы-без-посторонних-библиотек-на-python/1036592?noredirect=1#comment1766495_1036592')


if content is None:
    print("Ошибка!")
else:
    with open('fileOutput.txt', 'w') as f:
        print("Заголовок: {}".format(content.title), file=f)
        print("\nАдрес    : {}\n".format(content.url), file=f)
        print(content.body, file=f)

fileOutput.txt

Заголовок: html - Выборка чистого текста из web-страницы без посторонних библиотек на python - Stack Overflow на русском

Адрес    : https://ru.stackoverflow.com/questions/1036579/Выборка-чистого-текста-из-web-страницы-без-посторонних-библиотек-на-python/1036592?noredirect=1#comment1766495_1036592

Используя наш сайт, вы подтверждаете, что прочитали и поняли политику о куки, политику конфиденциальности и пользовательское соглашение.
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Подскажите, пожалуйста... Есть задача взять веб-страницу (например, любую из lenta.ru), убрать всё лишнее и оставить только текст. Видимо между тегами <p> и </p>. Далее готовый текст сохранить в текстовом файле.
Пересмотрел много примеров работы с request и BeautifulSoup, но общего понимания нет. Каким образом это можно реализовать?
Попробуйте так:
Спасибо за ваш ответ на Stack Overflow на русском!
Но избегайте …
Также, обратите внимание на заметку в справочном центре о том, как писать ответы.
Необходима, но никому не показывается
Необходима, но никому не показывается
Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки
Для подписки на ленту скопируйте и вставьте эту ссылку в вашу программу для чтения RSS.
дизайн сайта / логотип © 2019 Stack Exchange Inc; пользовательское содержимое попадает под действие лицензии cc by-sa 4.0 с указанием ссылки на источник.

                    rev 2019.10.18.35213
3
  • @Артур я обновил ответ, попробуйте.
    – S. Nick
    20 окт 2019 в 12:47
  • Большое спасибо) Изучаю ООП как раз... Пытаюсь понять, зачем же нужно все оборачивать в классы )
    – Артур
    20 окт 2019 в 13:20
  • @Артур если мой ответ решил вашу проблему, не забудьте отметить его как правильный.
    – S. Nick
    20 окт 2019 в 13:32

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.