0
    aaa = '''
<ul><a href="http://test.ru/12345" >test1</a></ul>
<ul><a href="http://test.ru/56789" >test2</a></ul>
<ul><a href="http://test.ry/34567" >test3</a></ul>
'''

Как извлечь при помощи lxml из строки содержимое тегов <ul>. Тоесть на выходе хотелось бы получить:

<a href="http://test.ru/12345" >test1</a>
<a href="http://test.ru/56789" >test2</a>
<a href="http://test.ry/34567" >test3</a>
2
  • Если нет проблем с английским, то тут подробно все расписано. lxml.de/parsing.html#parsers 6 окт 2017 в 8:22
  • Ознакомился, появился новый вопрос. Как мне конвертировать вывод "<Element ul at 0xafc0a694>" в нормальное значение.
    – leonidtime
    6 окт 2017 в 14:14

2 ответа 2

1

Например, а более подробно смотреть в документации приведенных модулей.

Входные данные:

text = '''<div>
<ul><a href="http://test.ru/12345" >test1</a></ul>
<ul><a href="http://test.ru/56789" >test2</a></ul>
<ul><a href="http://test.ry/34567" >test3</a></ul>
</div>
'''

Решение через lxml (только с tostring получится получить HTML):

# pip install lxml
from lxml import etree

root = etree.fromstring(text)
items = root.xpath('//a')
print(items)
print('href:', items[0].attrib['href'])
print('tag:', etree.tostring(items[0], encoding='unicode'))
print()
for a in items:
    print('a:', etree.tostring(a, encoding='unicode'))
print()
print()

Консоль:

[<Element a at 0x2dae708>, <Element a at 0x2dae748>, <Element a at 0x2dae788>]
href: http://test.ru/12345
tag: <a href="http://test.ru/12345">test1</a>

a: <a href="http://test.ru/12345">test1</a>
a: <a href="http://test.ru/56789">test2</a>
a: <a href="http://test.ry/34567">test3</a>

Решение через bs4 (достаточно запросить текстовое представление):

# pip install bs4
from bs4 import BeautifulSoup
root = BeautifulSoup(text, 'lxml')
items = root.select('a')
print(items)

a = items[0]
print('href:', a['href'])
print('tag:', a)

Консоль:

[<a href="http://test.ru/12345">test1</a>, <a href="http://test.ru/56789">test2</a>, <a href="http://test.ry/34567">test3</a>]
href: http://test.ru/12345
tag: <a href="http://test.ru/12345">test1</a>
5
  • Как конвертировать [<Element a at 0xc72968>, <Element a at 0xc72990>, <Element a at 0xc729b8>] в [<a href="test.ru/12345">test1</a>, <a href="test.ru/56789">test2</a>, <a href="test.ry/34567">test3</a>] при использовании первого варианта (без BeautifulSoup) ?
    – leonidtime
    6 окт 2017 в 14:25
  • @leonidtime, руками, но это просто разное представление, возвращенное из методов __str__ / __repr__, так что в обоих вариантах внутренное представление одинаковое. Добавил в ответе примеры ;)
    – gil9red
    6 окт 2017 в 17:39
  • Плохо знаю объектно-ориентированное программирование, можно по подробнее как получить именно "<a href="test.ru/56789">test2</a>, а не <Element a at 0xc72968>
    – leonidtime
    6 окт 2017 в 20:27
  • @leonidtime, используйте etree.tostring, в этом вопросе знание ООП вообще не влияет, нужно просто открыть документацию и посмотреть примеры
    – gil9red
    7 окт 2017 в 8:33
  • Благодарю, все получилось
    – leonidtime
    8 окт 2017 в 0:19
0

Вот что у меня получилось:

from lxml.html import fromstring

    aaa = '''
    <ul><a href="http://test.ru/12345" >test1</a></ul>
    <ul><a href="http://test.ru/56789" >test2</a></ul>
    <ul><a href="http://test.ry/34567" >test3</a></ul>

    '''

    html =  fromstring(aaa)
    a = html.xpath("//ul")
    print(a)

Результат:

[<Element ul at 0xafc0a694>, <Element ul at 0xb705ddec>, <Element ul at 0xafba9324>]

Как мне [<Element ul at 0xafc0a694>, <Element ul at 0xb705ddec>, <Element ul at 0xafba9324>] Превратить в

[<a href="http://test.ru/12345" >test1</a>, <a href="http://test.ru/56789" >test2</a>, <a href="http://test.ry/34567" >test3</a>]

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.