1

Всем привет! Столкнулся с проблемой: банит парсер авито. Пробовал делать запрос через vpn, результаты те же. Headers взял через код элемента, куки тоже. Если просто самому перейти по ссылке, то все работает. Уверен проблема в чем-то элепментарном, но не понимаю пока что в чем. Код прилагаю, заранее спасибо.

from urllib import response
import requests
import bs4

headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 OPR/87.0.4390.25 (Edition Yx 05)',
    'Accept-Language':'ru',
    'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="101", "Opera";v="87"',
    'Referer':'https://www.avito.ru/',
    'sec-ch-ua-mobile':'?0',
    'sec-ch-ua-platform':'"Windows"',
    'Upgrade-Insecure-Requests':'1',
    'cookie':'_dc_gtm_UA-2546784-1=1;_ga=GA1.2.686973881.1652283842;_ga_9E363E7BES=GS1.1.1653013163.11.1.1653067795.58;_gcl_au=1.1.635026089.1652283841;_gid=GA1.2.361075988.1652715590;_ym_d=1652283840;_ym_isad=2;_ym_uid=1652283840616148261;_ym_visorc=w;adrcid=AuhsTrAwWgCPWdECcL_fjLw;buyer_laas_location=646600;buyer_location_id=646600;dfp_group=91;ft=f=5.0c4f4b6d233fb90636b4dd61b04726f147e1eada7172e06c47e1eada7172e06c47e1eada7172e06c47e1eada7172e06cb59320d6eb6303c1b59320d6eb6303c1b59320d6eb6303c147e1eada7172e06c8a38e2c5b3e08b898a38e2c5b3e08b890df103df0c26013a0df103df0c26013a2ebf3cb6fd35a0ac0df103df0c26013a8b1472fe2f9ba6b984dcacfe8ebe897bfa4d7ea84258c63d59c9621b2c0fa58f915ac1de0d034112ad09145d3e31a56946b8ae4e81acb9fae2415097439d40473de19da9ed218fe287829363e2d856a2e992ad2cc54b8aa8d99271d186dc1cd03de19da9ed218fe2d50b96489ab264ed3de19da9ed218fe23de19da9ed218fe246b8ae4e81acb9fa38e6a683f47425a8352c31daf983fa077a7b6c33f74d335c84df0fd22b85d35f1b915d6a8db3dbef1ba6d8b24fb5a1f7c460105fdabb4a248cfd52a8ace06d2017c7721dca45217b00536c1b5f57ccb81d5ec0712206a6ebe2415097439d404746b8ae4e81acb9fa786047a80c779d5146b8ae4e81acb9fa25d0dd87a11993972d38179306cb93212da10fb74cac1eabf142afafcb3cfa293dbcfa74ac3ce013312f8fecc8ca5e543486a07687daa291;"FjzL6UBIhoVam2P/k7o2cAYfG8+azub1sKg51pGao69qGnv4NtlZHYbDUIGFzWiJAO7msiaxotFU0iwnRmlAgnbenFE9aasp4QERnnx0g+PicpY6F0D+tLU2fKJbYzf9kXA5dGxTV5Vo9LZstxc61lpoUpiS5EHWCPKiOglGSegFoInoCIEIPoVIIqv1A3ox";luri=ufa;sx=H4sIAAAAAAAC%2F1TOSbIbIQwA0Luw9gKBxODbAELtnuL0ZDxU3z2VhSv5F3j1PgpqLiKJhCIHFi7swAHZ7IAAKarrRz3UVdlpDvW%2BUli7UdIhZsRjT3HPDz2bAdRFVXUFRxbIIurzokzVutTqwORUvC2ZKzGhjWwlOpavXN%2FD1FyFcbX5qdtgZJ7dVDK2Zz9g%2FSFbMH%2FlwS23lq3v77q0TXd437a2YfuSIEd%2F4Ih72Y9FfqcGrfj%2BddtH92vpln%2BkjtGjOy%2FKm2JCzeRDICqGoXJG1glJSiL0XzmErn%2BNj7WWDd%2FwTLdFmL2TxfZTXPn%2FLEKI5%2FknAAD%2F%2F93Z94piAQAA;tmr_lvid=1bbe0faa3c04d659118b900a7807cb0f;tmr_lvidTS=1652877250179;tmr_reqNum=2658;u=2taunb8q.1dmdogz.f4pfw62tiho0;v=1653013161'
}
url='https://www.avito.ru/ufa/telefony/mobilnye_telefony/apple-ASgBAgICAkS0wA3OqzmwwQ2I_Dc?cd=1'
response = requests.get(url, headers)
html_soup = bs4.BeautifulSoup(response.text, 'html.parser')
print(html_soup)

1 ответ 1

0

Сейчас некоторые сайты поставили блокировку от ботов, тебе надо зайти в браузер по этой ссылке и посмотреть куки которые тебе отдал сайт. После этого вбить эти настройки в хэдэры. Такая же ситуация у меня с Леруа

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.