2

Имеется html:

<div id ="search_result_container">
    <div class="search_rule"></div>
    <div>.....</div>
    <div class="search_pagination">......</div>
</div>

Необходимо вытащить div, у которого нет класса

Пытаюсь вытащить:

div_item = search_result_container.cssselect('div:not([class])')

Но он выдает все div-потомки, а мне необходимо искать только среди потомков 1 уровня. Как сделать?

Полностью мой код:

import lxml.html

def get_html(request):
    return lxml.html.fromstring(request.text)


if __name__ == "__main__":

    r = request(url)
    html = get_html(r)

    left_panel = html.cssselect('div.leftcol')[0]
    search_result_container = left_panel.cssselect('#search_result_container > div')
    print(search_result_container)
3
  • Похоже, lxml делает поиск не с текущего элемента, а с начала всего документа, поэтому при построении запроса укажите с какого элемента искать div без атрибута class. Для css-selector'ов не знаю можно ли указывать что поиск будет локальный, но для xpath это возможно
    – gil9red
    4 июл 2018 в 9:23
  • вы не поняли, я ищу с определенного контейнера (search_result_container), и он ищет среди всех потомков этого элемента
    – danilshik
    4 июл 2018 в 12:48
  • почему не понял? я ведь в комментарии предположил почему у вас не работает, а в ответе написал какой вариант сработает, к тому же, у вас тот контейнер с id, а значит он один такой на весь HTML документ, поэтому не вижу ничего плохого в полном указании поиска в css-селекторе
    – gil9red
    4 июл 2018 в 12:58

1 ответ 1

1

Можно попробовать такой вариант:

html = """\
<div id ="search_result_container">
    <div class="search_rule"></div>
    <div>.....</div>
    <div class="search_pagination">......</div>
</div>
"""

from bs4 import BeautifulSoup
root = BeautifulSoup(html, 'html.parser')

# Получение соседнего div'а
div = root.select_one('#search_result_container > .search_rule ~ div')
print(div)  # <div>.....</div>

# По индексу:
div = root.select('#search_result_container > div')[1]
print(div)  # <div>.....</div>

# Фильтрация по наличию атрибута class
div_list = [div for div in root.select('#search_result_container > div') if not div.has_attr('class')]
div = div_list[0]
print(div)  # [<div>.....</div>]

Что-то я не сразу заметил что вопрос был про , поэтому исправляюсь:

from lxml import etree
root = etree.fromstring(html)


def to_str(x):
    return etree.tounicode(x, method='html')


# Получение соседнего div'а
div = root.cssselect('#search_result_container > .search_rule ~ div')[0]
print(to_str(div))  # <div>.....</div>

# Получение соседнего div'а через псевдокласс
div = root.cssselect('#search_result_container > div:nth-child(2)')[0]
print(to_str(div))  # <div>.....</div>

# По индексу:
div = root.cssselect('#search_result_container > div')[1]
print(to_str(div))  # <div>.....</div>

# Фильтрация по наличию атрибута class
div_list = [div for div in root.cssselect('#search_result_container > div') if 'class' not in div.attrib]
div = div_list[0]
print(to_str(div))  # <div>.....</div>

# Фильтрация по наличию атрибута class через псевдокласс
div = root.cssselect('#search_result_container > div:not([class])')[0]
print(to_str(div))  # <div>.....</div>
17
  • в метках указал=)
    – danilshik
    4 июл 2018 в 12:49
  • ага, я не сразу это увидел
    – gil9red
    4 июл 2018 в 12:57
  • я не использую entree, код добавил. В данный момент он выводит все div- потомки 1 уровня
    – danilshik
    4 июл 2018 в 12:59
  • все, сделал так: search_result_container = left_panel.cssselect('#search_result_container > div:not([class])')
    – danilshik
    4 июл 2018 в 13:00
  • А чем вам помешает entree? разве элементы из lxml.html.fromstring и etree.fromstring разные?
    – gil9red
    4 июл 2018 в 13:01

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.