1

Всем привет!

Нужно взять из кода веб страницы только текст, который лежит в определенных тегах. Если в этих тегах, есть вложенные теги, их содержимое не нужно учитывать.

Например, мы имеем html код

<div><p>Нужный мне текст  <a href="#">Не нужная мне ссылка</a> <span>данный текст также мне не нужен</span> </p> ТЕКСТ</div>

Как мне взять, все что есть в теге DIV и P, удалив при этом вложенные теги?


Из оптимального, что получилось:

markup = '<div><p>Нужный мне текст  <a href="#">Не нужная мне ссылка</a> <span>данный текст также мне не нужен</span> </p> ТЕКСТ <a href="#">Не нужная мне ссылка 2</a><span>Спамный текст</span></div>'
root = BeautifulSoup(markup, 'html.parser')
div = root.select_one('div')
anchor_len = len ([ tag for tag in div.findAll() if tag.name == 'a'])
span_len = len ([ tag for tag in div.findAll() if tag.name == 'span'])
decomp_anchor = [ div.select_one('a').decompose() for i in range (anchor_len)]
decomp_span = [ div.select_one('span').decompose() for i in range (span_len)]
print(div.text)

Но насколько это оптимальный код? Просто decompose() удаляет первый тег в дереве, а нужно удалять все теги в дереве.

1
  • decompose удалит текущий тег, а не первый, не используйте выражения с decomp_anchor и decomp_span, это создается ненужный список, тут достаточно перебрать в цикле. Кст, в div.findAll() можно передавать название тега, а у полученного тега сразу вызвать decompose. Да и в питоне рекомендуется змеиная нотация, поэтому используйте метод-двойник find_all. Кст2, а аналогом find_all будет метод select. Методы select и select_one работают через css-селекторы
    – gil9red
    7 ноя 2020 в 5:47

1 ответ 1

1

Используйте метод decompose для удаление тегов.

Пример:

from bs4 import BeautifulSoup

html = """
<div><p>Нужный мне текст  <a href="#">Не нужная мне ссылка</a> <span>данный текст также мне не нужен</span> </p> ТЕКСТ</div>
"""

root = BeautifulSoup(html, 'html.parser')
div = root.select_one('div')
div.select_one('a').decompose()
div.select_one('span').decompose()

print(root)
# <div><p>Нужный мне текст    </p> ТЕКСТ</div>

Если элементов несколько, то используйте метод select для получения списка элементов, после проходите в цикле по-элементно и у каждого элемента вызывайте decompose:

...
div = root.select_one('div')

for x in div.select('a'):
    x.decompose()

for x in div.select('span'):
    x.decompose()

print(root)
4
  • спасибо, за пример. Есть нюанс, если у нас много тегов <a href> внутри текста, decompose() удаляем только 1 тег. Нужно циклом проходится в данном случае?
    – sanitarn
    6 ноя 2020 в 10:17
  • @sanitarn, обновил ответ
    – gil9red
    7 ноя 2020 в 2:00
  • спасибо, значит правильно подумал.
    – sanitarn
    7 ноя 2020 в 21:05
  • @sanitarn, пожалуйста :)
    – gil9red
    8 ноя 2020 в 4:31

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.