Всем привет! Столкнулся с проблемой: банит парсер авито. Пробовал делать запрос через vpn, результаты те же. Headers взял через код элемента, куки тоже. Если просто самому перейти по ссылке, то все работает. Уверен проблема в чем-то элепментарном, но не понимаю пока что в чем. Код прилагаю, заранее спасибо.
from urllib import response
import requests
import bs4
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 OPR/87.0.4390.25 (Edition Yx 05)',
'Accept-Language':'ru',
'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="101", "Opera";v="87"',
'Referer':'https://www.avito.ru/',
'sec-ch-ua-mobile':'?0',
'sec-ch-ua-platform':'"Windows"',
'Upgrade-Insecure-Requests':'1',
'cookie':'_dc_gtm_UA-2546784-1=1;_ga=GA1.2.686973881.1652283842;_ga_9E363E7BES=GS1.1.1653013163.11.1.1653067795.58;_gcl_au=1.1.635026089.1652283841;_gid=GA1.2.361075988.1652715590;_ym_d=1652283840;_ym_isad=2;_ym_uid=1652283840616148261;_ym_visorc=w;adrcid=AuhsTrAwWgCPWdECcL_fjLw;buyer_laas_location=646600;buyer_location_id=646600;dfp_group=91;ft=f=5.0c4f4b6d233fb90636b4dd61b04726f147e1eada7172e06c47e1eada7172e06c47e1eada7172e06c47e1eada7172e06cb59320d6eb6303c1b59320d6eb6303c1b59320d6eb6303c147e1eada7172e06c8a38e2c5b3e08b898a38e2c5b3e08b890df103df0c26013a0df103df0c26013a2ebf3cb6fd35a0ac0df103df0c26013a8b1472fe2f9ba6b984dcacfe8ebe897bfa4d7ea84258c63d59c9621b2c0fa58f915ac1de0d034112ad09145d3e31a56946b8ae4e81acb9fae2415097439d40473de19da9ed218fe287829363e2d856a2e992ad2cc54b8aa8d99271d186dc1cd03de19da9ed218fe2d50b96489ab264ed3de19da9ed218fe23de19da9ed218fe246b8ae4e81acb9fa38e6a683f47425a8352c31daf983fa077a7b6c33f74d335c84df0fd22b85d35f1b915d6a8db3dbef1ba6d8b24fb5a1f7c460105fdabb4a248cfd52a8ace06d2017c7721dca45217b00536c1b5f57ccb81d5ec0712206a6ebe2415097439d404746b8ae4e81acb9fa786047a80c779d5146b8ae4e81acb9fa25d0dd87a11993972d38179306cb93212da10fb74cac1eabf142afafcb3cfa293dbcfa74ac3ce013312f8fecc8ca5e543486a07687daa291;"FjzL6UBIhoVam2P/k7o2cAYfG8+azub1sKg51pGao69qGnv4NtlZHYbDUIGFzWiJAO7msiaxotFU0iwnRmlAgnbenFE9aasp4QERnnx0g+PicpY6F0D+tLU2fKJbYzf9kXA5dGxTV5Vo9LZstxc61lpoUpiS5EHWCPKiOglGSegFoInoCIEIPoVIIqv1A3ox";luri=ufa;sx=H4sIAAAAAAAC%2F1TOSbIbIQwA0Luw9gKBxODbAELtnuL0ZDxU3z2VhSv5F3j1PgpqLiKJhCIHFi7swAHZ7IAAKarrRz3UVdlpDvW%2BUli7UdIhZsRjT3HPDz2bAdRFVXUFRxbIIurzokzVutTqwORUvC2ZKzGhjWwlOpavXN%2FD1FyFcbX5qdtgZJ7dVDK2Zz9g%2FSFbMH%2FlwS23lq3v77q0TXd437a2YfuSIEd%2F4Ih72Y9FfqcGrfj%2BddtH92vpln%2BkjtGjOy%2FKm2JCzeRDICqGoXJG1glJSiL0XzmErn%2BNj7WWDd%2FwTLdFmL2TxfZTXPn%2FLEKI5%2FknAAD%2F%2F93Z94piAQAA;tmr_lvid=1bbe0faa3c04d659118b900a7807cb0f;tmr_lvidTS=1652877250179;tmr_reqNum=2658;u=2taunb8q.1dmdogz.f4pfw62tiho0;v=1653013161'
}
url='https://www.avito.ru/ufa/telefony/mobilnye_telefony/apple-ASgBAgICAkS0wA3OqzmwwQ2I_Dc?cd=1'
response = requests.get(url, headers)
html_soup = bs4.BeautifulSoup(response.text, 'html.parser')
print(html_soup)