Попробуйте так:
import os
from bs4 import BeautifulSoup # для разбора html # pip install bs4
import requests # для доступа к сайту # pip install import requests
class Content:
def __init__(self, url, title, body):
self.url = url
self.title = title
self.body = body
def get_page(url):
req = requests.get(url)
if req.status_code == 200:
return BeautifulSoup(req.text, 'html.parser')
return None
def news_form_lenta(url):
bs = get_page(url)
if bs is None:
return bs
titleBs = bs.find("title")
if titleBs:
title = titleBs.text
else: title = ' '
lines = bs.find_all("p")
body = '\n'.join([line.text.strip() for line in lines])
return Content(url, title, body)
#content = news_form_lenta('https://lenta.ru/news/2019/10/17/competition/')
# или
content = news_form_lenta('https://ru.stackoverflow.com/questions/1036579/Выборка-чистого-текста-из-web-страницы-без-посторонних-библиотек-на-python/1036592?noredirect=1#comment1766495_1036592')
if content is None:
print("Ошибка!")
else:
with open('fileOutput.txt', 'w') as f:
print("Заголовок: {}".format(content.title), file=f)
print("\nАдрес : {}\n".format(content.url), file=f)
print(content.body, file=f)
fileOutput.txt
Заголовок: html - Выборка чистого текста из web-страницы без посторонних библиотек на python - Stack Overflow на русском
Адрес : https://ru.stackoverflow.com/questions/1036579/Выборка-чистого-текста-из-web-страницы-без-посторонних-библиотек-на-python/1036592?noredirect=1#comment1766495_1036592
Используя наш сайт, вы подтверждаете, что прочитали и поняли политику о куки, политику конфиденциальности и пользовательское соглашение.
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Подскажите, пожалуйста... Есть задача взять веб-страницу (например, любую из lenta.ru), убрать всё лишнее и оставить только текст. Видимо между тегами <p> и </p>. Далее готовый текст сохранить в текстовом файле.
Пересмотрел много примеров работы с request и BeautifulSoup, но общего понимания нет. Каким образом это можно реализовать?
Попробуйте так:
Спасибо за ваш ответ на Stack Overflow на русском!
Но избегайте …
Также, обратите внимание на заметку в справочном центре о том, как писать ответы.
Необходима, но никому не показывается
Необходима, но никому не показывается
Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки
Для подписки на ленту скопируйте и вставьте эту ссылку в вашу программу для чтения RSS.
дизайн сайта / логотип © 2019 Stack Exchange Inc; пользовательское содержимое попадает под действие лицензии cc by-sa 4.0 с указанием ссылки на источник.
rev 2019.10.18.35213
BeautifulSoup
иrequests
?