0
items = soup.find_all("div", class_="item__line")
for page in range(1, p_num + 1):
    print(f"Парсинг страницы {page} из {p_num}...")
    html = requests.get(URL, headers=HEADERS, params={"p": page})
    for item in items:
        cars.append({
            "title": item.find("h3", class_="snippet-title").get_text(strip=True),  # Марка
            "link": HOST + item.find("a", class_="snippet-link").get("href"),  # Ссылка
            "price": item.find("div", class_="snippet-price-row").get_text(strip=True).replace('₽', ''), # Цена в руб.
            "address": item.find("div", class_="item-address").get_text(strip=True)})  # Аддресс
    print (cars)
1
  • 1
    Для парсинга авито используйте selenium, и попытайтесь настроить имитацию действий пользователя (перемещение курсора в процессе считывания страницы хотябы) с рандомными паузами. У авито очень хороший антибот. Сам с ним бодался долго.
    – Namerek
    11 июл 2020 в 20:28

1 ответ 1

1

Вам нужно найти список элементов, которые выводят количество страниц. Это вроде бы теги span с одинаковым классом pagination-item-1WyVp. Находите последний элемент(а точнее предпоследний, потому что последний - что-то вроде "Вперёд ->"). Этот последний элемент будет количеством проходов вашего цикла. Я взял за основу ваш код и немного его модифицировал:

import requests
from bs4 import BeautifulSoup
from time import sleep

r = requests.get('https://www.avito.ru/rossiya/avtomobili?cd=1')
soup = BeautifulSoup(r.content, 'html.parser')

pages = soup.find_all('span', 'pagination-item-1WyVp')[-2].text # Количество страниц
cars = []

for page in range(1, int(pages)+1):
    print(f"Парсинг страницы {page} из {pages}...")
    html = requests.get('https://www.avito.ru/rossiya/avtomobili?cd=1&p=', str(page)).content
    pagesoup = BeautifulSoup(html, 'html.parser') # Страница, которая обрабатывается в данный момент
    items = pagesoup.find_all("div", class_="item__line")
    for item in items:
        cars.append({
            "title": item.find("h3", class_="snippet-title").get_text(strip=True), # Я убрал ссылку. Мне главное показать как оно вообще работает, добавите сами :)
            "price": item.find("div", class_="snippet-price-row").get_text(strip=True).replace('₽', ''), 
            "address": item.find("div", class_="item-address").get_text(strip=True)}) 
    print (cars)
    sleep(15) # Вряд ли поможет

Я добавил в конец что-то похожее на защиту от распознования ботов. Это скорее всего не поможет, особенно если в комментариях пишут, что у Авито хорошая защита. Как миниум туда нужно подставлять рандомное значение. Лучше чтобы это значение было не меньше 10. Да это долго, но зато это самый простой вариант.

1
  • Спасибо за ответ, но список элементов у меня уже был добавлен ранее, и все значения совпадали с переменными. Как я думаю, у меня ошибка с передачей параметров (первый раз писал вопрос, забыл добавить) и не знаю, как её исправить. Проблем с антиботом я не заметил, всё прекрасно парсится, выводится и сохраняется, возможно, парсер слишком "мелочный" и не расценивает меня как угрозу, или я просто рождён под удачной звездой:)
    – Илья
    12 июл 2020 в 17:20

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.