0

Есть список из десятка url. Начинаю в цикле for их перебирать, парсить html и формировать словарь из данных с каждого линка. Потом хочу передать получившийся словарь в созданный ранее список, но происходит нечто неожиданное. Вместо ожидаемого списка словарей с данными по каждому линку, получаю в нем 10 одинаковых словарей, созданных на основе данных с последнего линка.

article = {}
articles = []

    for i in links:
        article['link'] = i
        r = requests.get(i, headers = headers)
        soup = BeautifulSoup(r.text, 'lxml')
        title = soup.find_all('h2')[0].get_text()
        article['title'] = title
        article['date_pub'] = soup.find_all('time', class_='b-date')[0].get('datetime')    
        articles.append(article)

Распечатываю содержание переменной article внутри цикла. Все работает корректно, каждый раз скрипт создает новый словарь. Но в момент добавления к списку происходит нечто непонятное. Вместо добавление, происходит его полная замена. Например, при втором прохождении цикла for два раза один и тот-же словарь со второго линка... Ну и далее. Что это и как оно исправить?

1
  • Это ожидаемо: один раз вы создали словарь article = {}, а после везде ссылку на него используете. Нужно создавать словарь на каждой итерации списка. И, для наглядности, лучше используйте article = dict()
    – gil9red
    25 ноя 2019 в 9:38

1 ответ 1

4

Это ожидаемо: один раз вы создали словарь article = {}, а после везде ссылку на него используете.

Нужно создавать словарь на каждой итерации списка. И, для наглядности, лучше используйте article = dict():

articles = []

    for i in links:
        article = dict()
        article['link'] = i
        r = requests.get(i, headers = headers)
        soup = BeautifulSoup(r.text, 'lxml')
        title = soup.find_all('h2')[0].get_text()
        article['title'] = title
        article['date_pub'] = soup.find_all('time', class_='b-date')[0].get('datetime')    
        articles.append(article)

Или можно сразу же создавать словарь:

    for i in links:
        r = requests.get(i, headers = headers)
        soup = BeautifulSoup(r.text, 'lxml')
        title = soup.find_all('h2')[0].get_text()

        article = {
            'link': i,
            'title': title,
            'date_pub': soup.find_all('time', class_='b-date')[0].get('datetime'),
        }
        articles.append(article)

PS.

Советую, типизировать данные, например через NamedTuple:

from typing import NamedTuple, List

class Article(NamedTuple):
    link: str
    title: str
    date_pub: str

...

articles: List[Article] = []

    for i in links:
        r = requests.get(i, headers = headers)
        soup = BeautifulSoup(r.text, 'lxml')
        title = soup.find_all('h2')[0].get_text()
        date_pub = soup.find_all('time', class_='b-date')[0].get('datetime')

        article = Article(i, title, date_pub)
        articles.append(article)

Сможете после к полям article обращаться, плюс будет подсказка от IDE:

print(articles[0].date_pub)

Еще значения полей можно вернуть как словарь:

print(articles[0]._asdict())
1
  • спасибо, осознал. Больше никогда так делать не буду. Сейчас прокручу так, а потом добавлю типизацию.
    – Burtsev
    25 ноя 2019 в 10:29

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.