2

Есть html, например:

<div class="foo">
<a class="link" href="https://google.com">Неважно что тут</a>
</div>

Мне нужно получить только значение атрибута элемента, то есть: https://google.com Или полностью весь html внутри элемента с классом foo (<a class="link" href="https://google.com">Неважно что тут</a>)

Есть код, который получает текстовое содержимое элемента. Как мне его подправить для этой задачи?

def get_html (request):
    return BeautifulSoup(request, 'lxml')

def save_file(text):
    with open(output_filename, "a", encoding='utf8') as hello_file:
        print(text, file=hello_file)


def parse(url):
     r = request(url)
     html = get_html(r)

     items = html.select('div[class=foo]')
     for item in items:
         text = item.text
         save_file(text)

Банальная замена text = item.text на text = item.html не работает.

2 ответа 2

2

Используя .select('div.foo a'), вы сможете получить все <a>, находящиеся внутри <div class="foo">. Потом обойти список и извлечь значение атрибута href.

In [21]: html
Out[21]: '<div class="foo"><a class="link" href="https://google.com">Неважно что тут</a></div>'

In [22]: soup = BeautifulSoup(html, 'lxml')

In [23]: items = soup.select('div.foo a')

In [24]: items
Out[24]: [<a class="link" href="https://google.com">Неважно что тут</a>]

In [25]: links = [item['href'] for item in items]

In [26]: links
Out[26]: ['https://google.com']
2
  • На такую конструкцию питон ругается. inconsistent use of tabs and spaces in indentation
    – Amigo9876
    19 сен 2019 в 16:16
  • @Amigo9876 похоже, в вашем коде для отступов используются и табы, и пробелы. В питоне принято использовать 4 пробела для отступов. Попробуйте все табы заменить на пробелы.
    – Andrey
    19 сен 2019 в 16:42
1
from bs4 import BeautifulSoup

def save_file(text):
    with open('url.txt', "a", encoding='utf8') as f:
        f.write(text + '\n')

html = '<div class="foo">' \
       '<a class="link" href="https://google.com">Неважно что тут</a>' \
       '<a class="link" href="https://google2.com">Неважно что тут</a>' \
       '<a class="link" href="https://google3.com">Неважно что тут</a>' \
       '<a class="link" href="https://google4.com">Неважно что тут</a>' \
       '</div>'\
       '<div class="foo">' \
       '<a class="link" href="https://google5.com">Неважно что тут</a>' \
       '<a class="link" href="https://google6.com">Неважно что тут</a>' \
       '<a class="link" href="https://google7.com">Неважно что тут</a>' \
       '<a class="link" href="https://google8.com">Неважно что тут</a>' \
       '</div>'

soup = BeautifulSoup(html, 'lxml')
links = [item['href'] for item in soup.select('div.foo a')]

for i in links:
    save_file(i)
2
  • Спасибо. Но дело в том, что я хочу весь результат сохранить в файл, поэтому в изначальном примере используется цикл. Ваш вариант работает, но когда я пытаюсь впихнуть это в цикл, то мне ругается на самые разные синтаксические ошибки. for item in items: links = [item['href'] save_file(text) Т.е элементов с нужным классом может быть несколько и все их атрибуты нужно сохранить в файл.
    – Amigo9876
    19 сен 2019 в 19:39
  • тогда вот так. исправил 19 сен 2019 в 20:08

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.