1

Не удается спарсить значение атрибута id тега article В чем моя ошибка?:

<article class="post-11632 post type-post status-publish format-standard has-post-thumbnail" id="post-11632">           
    <!--Здесь много вложенных блоков <div> <a> <span>, но тег <article> более не встречается-->
</article>

Парсер: Ошибка возникает при получении post_id далее все работает

import requests
import config


from bs4 import BeautifulSoup

#https://freesteam.ru/

def get_html(url):
    r = requests.get(url)
    return r.text


def get_free_game(html):
    soup = BeautifulSoup(html, 'lxml')

    card = soup.find('div', class_='row content-grid').find_all('div', class_='post-box')

    for post_data in card:
        #post_id, entry-title, entry-content
        try:
            post_id = post_data.find(class_='post type-post').get('id')
        except:
            post_id = '' 

        try:
            title = post_data.find('h2', class_='entry-title').find('a').text.strip()
        except:
            title = ''

        try:
            content = post_data.find('div', class_='entry-content').find('p').text.strip()
        except:
            content = ''

Консоль выдает:

>>> post_id = post_data.find('article', class_='post type-post').get('id')

Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'get'

Предпринимал такие попытки

>>> post_id = post_data.find('article', class_='post type-post')
>>> post_id_soup = BeautifulSoup('post_id.text')
>>> post_id_soup.article['id']

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'NoneType' object is not subscriptable'
2
  • можете список зависимоетй прикрепить к вопросу? я так понимаю Beautiful и lxml
    – devnull
    11 дек 2020 в 17:59
  • Да. Я решил проблему по другому. Не знаю насколько верно >>> post_id = post_data.find('span', class_='dsq-postid').get('data-dsqidentifier') >>> post_id '11632 https://freesteam.ru/?p=11632' >>> post_id_number = post_id.split(' ')[0] >>> post_id_number '11632' 11 дек 2020 в 18:13

1 ответ 1

1

Как вариант можно воспользоваться регуляркой:

import re

from bs4 import BeautifulSoup

html = """<article class="post-11632 post type-post status-publish format-standard has-post-thumbnail" id="post-11632">           
    <!--Здесь много вложенных блоков <div> <a> <span>, но тег <article> более не встречается-->
</article>"""


soup = BeautifulSoup(html, 'lxml')

post_id = soup.find('article', class_=re.compile(r"^(post|type-post)$"))

data = post_id.get('id')

По регулярке, на вход к ней идет class, то есть не весь список, а конкретное название, по этой причине есть начало ^ и конфе $ строки


Также это можно реализовать по другому :

# ... оставил только код поиска: 
post_id = soup.find('article', class_=lambda class_name: class_name in ('post', 'type-post'))

Офф дока по этому моменту:

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#searching-by-css-class

1
  • За доку, отдельное спасибо!!! 11 дек 2020 в 18:27

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.