0

Начал парсить авито и при создании гет запроса к мобильной и комп. версиям сайта стала вылетать 403 ошибка.

{'status': 'forbidden', 'result': {'message': 'Доступ с вашего IP-адреса временно ограничен', 'link': 'ru.avito://1/info/ipblock/show'}}

Как пофиксить эту проблему? Что нужно для создания простого гет запроса к авито? Код:

response = requests.get(url='https://www.avito.ru/', headers={
        'user-agent': f'{agent.random}'
    }).status_code
    print(response)

P.S. то, что содержится в message - формальность, как мне кажется, потому что через браузер авито отлично работает

2

1 ответ 1

0

Ошибка 403 говорит о том, что доступ к запрашиваемой странице запрещён или у пользователя нет прав на просмотр контента. Скорее всего, вы выполняете слишком много запросов в одну единицу времени, потому Авито вас просто забанил по IP. Попробуйте использовать proxy. Возможно поможет. Хотя, не знаю точно, как у Авито с бесплатными прокси дела. Но причина 403 ошибки, скорее всего в этом.

Даже если вы меняете user_agent, это еще не значит, что сайт не распознает в ваших запросах робота. Возможно, если вы хотите использовать именно requests, вам нужно посмотреть в сторону создания сессии, и добавления в нее заголовков и полученных куки. А уже на основании этой сессии делать запросы. Но опять же, не следует торопиться. Иначе итог будет тот же - забанят за слишком частые запросы.

В этом случае, если вы добавите сессию, user_agent лучше не менять. Вот взгляните на ваши запросы с точки зрения сайта. То есть, идет запрос с одного IP и у него постоянно меняется агент, надо насторожиться, что-то тут не хорошо. Ой, да запросы еще слишком часто. А забаню я его на всякий случай. ))

Обычно сценарий примерно похожий. Сначала все хорошо, а потом раз и перестает работать скрипт. Про парсинг таких сайтов лучше всего сказать: "Тише едешь - дальше будешь", как бы не хотелось спарсить все и сразу.