Всем привет!
Нужно взять из кода веб страницы только текст, который лежит в определенных тегах. Если в этих тегах, есть вложенные теги, их содержимое не нужно учитывать.
Например, мы имеем html код
<div><p>Нужный мне текст <a href="#">Не нужная мне ссылка</a> <span>данный текст также мне не нужен</span> </p> ТЕКСТ</div>
Как мне взять, все что есть в теге DIV и P, удалив при этом вложенные теги?
Из оптимального, что получилось:
markup = '<div><p>Нужный мне текст <a href="#">Не нужная мне ссылка</a> <span>данный текст также мне не нужен</span> </p> ТЕКСТ <a href="#">Не нужная мне ссылка 2</a><span>Спамный текст</span></div>'
root = BeautifulSoup(markup, 'html.parser')
div = root.select_one('div')
anchor_len = len ([ tag for tag in div.findAll() if tag.name == 'a'])
span_len = len ([ tag for tag in div.findAll() if tag.name == 'span'])
decomp_anchor = [ div.select_one('a').decompose() for i in range (anchor_len)]
decomp_span = [ div.select_one('span').decompose() for i in range (span_len)]
print(div.text)
Но насколько это оптимальный код? Просто decompose()
удаляет первый тег в дереве, а нужно удалять все теги в дереве.
decompose
удалит текущий тег, а не первый, не используйте выражения сdecomp_anchor
иdecomp_span
, это создается ненужный список, тут достаточно перебрать в цикле. Кст, вdiv.findAll()
можно передавать название тега, а у полученного тега сразу вызватьdecompose
. Да и в питоне рекомендуется змеиная нотация, поэтому используйте метод-двойникfind_all
. Кст2, а аналогомfind_all
будет методselect
. Методыselect
иselect_one
работают через css-селекторы