1

Есть страница HTML вот такой структуры.

<div class="col-md-12">
        <p class="appeal-element-bottom"><span> Опубликовано: </span> 01.01.0001</p>
        <p class="appeal-element-bottom"><span> Автор: </span> Иванов Иван Иванович</p> 
        <p class="appeal-element-bottom"><span> Регион: </span> Саратовская область</p>
    </div>

Делаю парсинг, но из за одинаковых тегов всегда извлекается только первый результат. Как получить остальные?

soup=bs4.BeautifulSoup(html, 'html.parser')
    divs = soup.find('div', class_='appeals-list-container')
    appeals = soup.find_all('div', class_='appeal-element')
    for appael in appeals:
        try:
            appeal_date = appael.find('p', class_='appeal-element-bottom').text.strip().replace('Опубликовано: ', '')
        except:
            appeal_date=''
        try:
            region = appael.find('p', class_='appeal-element-bottom').text.strip()
        except:
            region=''

appeal-element это родительский тэг который я не указал в данном примере.

5
  • Не совсем понятно, что Вы хотите распарсить. Если вам нужно распарсить все div с классом appeals-list-container , то нужно указать один общий родительский элемент. Затем divs = soup.find_all('div', class_='appeals-list-container') . И потом в цикле парсить каждый. 21 апр 2019 в 14:00
  • В данном конкретном случае я хочу получить регион. Но когда я делаю region = appael.find('p', class_='appeal-element-bottom').text.strip() У меня в переменную записывается дата, а не регион.
    – komsonavt
    21 апр 2019 в 14:05
  • 1
    Для получения данных Региона можете попробовать использовать appael.find_all('p', class_='appeal-element-bottom')[2] - то есть получать список значений всех тегов, но выбирать один конкретный. 21 апр 2019 в 14:11
  • Также можете сделать поиск по тексту. stackoverflow.com/a/31959218/10898133 21 апр 2019 в 14:16
  • Первый вариант сработал. Спасибо!
    – komsonavt
    21 апр 2019 в 14:19

1 ответ 1

3

Для получения данных региона используйте

appael.find_all('p', class_='appeal-element-bottom')[2]

то есть получаете список значений всех тегов p с классом appeal-element-bottom внутри appeal и выбираете один конкретный элемент (для этого указывается индекс элемента списка - это порядковый номер тега - 1; в данном случае - 2).

Также можете попробовать воспользоваться поиском по тексту.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.