0

Ru - Помогите мне пожалуйста, всё было хорошо, всё запускалось, я ничего не менял и тут перестало работать. En - Help me please, everything was fine, everything started up, I didn't change anything and then it stopped working.

Вот сайт с которого нужен парсинг - https://www.avito.ru/rossiya?q=%D0%B0%D0%B2%D1%82%D0%BE

Traceback (most recent call last): File "C:\Users\123\Desktop\парс авито+\test.py", line 11, in maxPages = bs.find("div", class_="js-pages pagination-pagination-FSNE").find_all("span", class="pagination-item-JJq_j")[7].get("data-marker").replace("page(", "").replace(")", "") AttributeError: 'NoneType' object has no attribute 'find_all'

from bs4 import BeautifulSoup
import requests

product = input("Введите название предмта: ")
delivery = 0

def start():
    print("Фильтры: ")
    d = input("Авито Доставка: ")
    if d == "да" or d == "Да" or d == "ДА":
        delivery = 1
        get_total_pages()

    elif d == "нет" or d == "Нет" or d == "НЕТ":
        get_total_pages()

def get_total_pages():
    page = 0
    url = "https://www.avito.ru/rossiya?cd=1&d=" + str(delivery) + "&f=ASgCAgECAUXGmgwYeyJmcm9tIjo1MDAwLCJ0byI6MTUwMDB9&p=" + str(page) + "&q=" + product
    #url = "https://www.avito.ru/rossiya?q=" + product
    request = requests.get(url.strip())
    bs = BeautifulSoup(request.text, "html.parser")
    maxPages = bs.find("div", class_="js-pages pagination-pagination-_FSNE").find_all("span", class_="pagination-item-JJq_j")[7].get("data-marker").replace("page(", "").replace(")", "")
    print("Всего страниц: " + str(maxPages))
    get_html(page, maxPages)

def get_html(page, maxPages):
    page += 1
    print("1" + str(page))
    url = "https://www.avito.ru/rossiya?cd=1&d=" + str(delivery) + "&f=ASgCAgECAUXGmgwYeyJmcm9tIjo1MDAwLCJ0byI6MTUwMDB9&p=" + str(page) + "&q=" + product
    request = requests.get(url.strip())
    bs = BeautifulSoup(request.text, "html.parser")
    page_pars(bs, page, maxPages)

def page_pars(bs, page, maxPages):
    data = bs.find("div", class_="iva-item-titleStep-_CxvN")
    for value in data:
        try:
            title = data.find("a", class_="title-listRedesign-XHq38").text.strip()
        except:
            title = ""
        try:
            price = bs.find("span", class_="price-text-E1Y7h").text.strip().replace("\xa0", "")
        except:
            price = ""
        try:
            link = "https://www.avito.ru/" + data.find("a", class_="iva-item-title-_qCwt")["href"]
        except:
            link = ""
        info = {'title': title,
                'price': price,
                'link': link
                }
        #print((info["title"], info["price"], info["link"]))
        if page < int(maxPages):
            print("2" + page)
            get_html(page, maxPages)

start()
1
  • 1
    Значит на том сайте который вы парсите поменялся формат и там больше нет div с указанным классом. Смотрите страницу и меняйте способ поиска требуемых данных
    – Mike
    10 янв 2022 в 16:16

1 ответ 1

1

Старайтесь по возможности не использовать идентификаторы тагов выглядящие неоднозначно, их генерит код. Кроме того старайтесь использовать User-Agent в заголовках запросов.
И еще, не выстравайте цепочки типа

bs.find("div", class_="js-pages pagination-pagination-_FSNE").find_all("span", class_="pagination-item-JJq_j")

Без проверки результатов работы каждого из элементов

Код приведенный ниже

from requests import Session
from fake_useragent import UserAgent
from bs4 import BeautifulSoup as Soup
from bs4.element import Tag, PageElement
import re

ua = UserAgent()

s = Session()
s.headers = {
    'User-Agent': ua.firefox
}

base_url = 'https://www.avito.ru'

url = base_url + '/rossiya?p=%s&q=авто'

max_page = 1

def parse_snippet(snip: Tag):
    title = ''
    price = ''
    currency = ''
    link = ''

    if isinstance(title_tag := snip.find('a', {'data-marker': 'item-title'}), Tag):
        title = title_tag.get('title')
        if isinstance(lnk := title_tag.get('href'), str):
            link = base_url + lnk

    if isinstance(price_tag := snip.find('meta', itemprop='price'), PageElement):
        price = price_tag.get('content')

    if isinstance(currency_tag := snip.find('meta', itemprop='priceCurrency'), PageElement):
        currency = currency_tag.get('content')

    return {
        'title': title,
        'price': price,
        'currency': currency,
        'link': link
    }



def process_page(page_number):
    response = s.get(
        url % page_number
    )
    soup = Soup(response.content, 'html.parser')
    if page_number == 1:
        global max_page
        if paginator := soup.find_all(
                            'span',
                            {'data-marker': re.compile(r'page\(\d+\)')}
                        ):
            
            max_page = max(
                [
                    *filter(
                        str.isnumeric,
                        [
                            item.get_text(strip=True) for item in
                            paginator
                        ]
                    )
                ] or [1],
                key=int
            )

    return [
        *map(parse_snippet, soup.find_all('div', {'data-marker': 'item'}))
    ]



pages = process_page(1) + [elem for item in map(process_page, range(2, max_page + 1)) for elem in item]

в json.dump() дает такой результат:

[
  {
    "title": "Аренда автомобили Любое гражданство в Санкт-Петербурге", 
    "price": "1500", 
    "currency": "RUB", 
    "link": "https://www.avito.ru/sankt-peterburg/predlozheniya_uslug/arenda_avtomobili_lyuboe_grazhdanstvo_2318195523"
  }, 
  {
    "title": "Прикурить автомобили в Краснотурьинске", 
    "price": "300", 
    "currency": "RUB", 
    "link": "https://www.avito.ru/krasnoturinsk/predlozheniya_uslug/prikurit_avtomobili_2332510555"
  }, 
  {
    "title": "Аренда автомобили с выкупом в Краснодаре", 
    "price": "200000", 
    "currency": "RUB", 
    "link": "https://www.avito.ru/krasnodar/predlozheniya_uslug/arenda_avtomobili_s_vykupom_2321517940"
  },
...
  {
    "title": "Toyota RAV4, 2015, с пробегом, цена 1 980 000 руб. - Автомобили в Таганроге", 
    "price": "1980000", 
    "currency": "RUB", 
    "link": "https://www.avito.ru/taganrog/avtomobili/toyota_rav4_2015_2326834752"
  }
]

На текущий момент 840 записей

4
  • Спасибо, но остались вопросы. Как понять: "Старайтесь по возможности не использовать идентификаторы тагов выглядящие неоднозначно"? И я так понимаю, что использовать User-Agent - это значит идентифицировать браузер, что-то вроде того?
    – Dan Rick
    10 янв 2022 в 19:50
  • @DanRick к примеру, class_="pagination-item-JJq_j" на мой взгляд, выглядит не однозначно. itemprop='price' выглядит намного более однозначно, поскольку не имеет не несущего смысловой нагрузки суффикса
    – Namerek
    10 янв 2022 в 19:53
  • @DanRick, User-Agent теоретически идентифицирует браузер. У python requests значение useragent по умолчанию 'User-Agent': 'python-requests/2.26.0'
    – Namerek
    10 янв 2022 в 19:55
  • Спасибо, огромное!
    – Dan Rick
    10 янв 2022 в 19:56

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.