Я пытаюсь спарсить фото с объявлений, но мне возвращается html страница не полная.
Парсю с этого сайта: https://www.vinted.it/vetements?catalog[]=1904&order=newest_first
Проблема еще в том,что при входе первичном он запрашивает страну и подтверждение на куки. Куки к реквестам так я и не смог прикрутить, тк не нашел нигде как ставить куки, которые списком в json формате. С ру ip он тоже не пускает, но все запросы идут с иностранного ip.
Подскажите, как спарсить всю страницу нормально со всем контентом?
Вот код.
import requests
import json
from bs4 import BeautifulSoup
url = "https://www.vinted.it/vetements?catalog[]=1904&order=newest_first"
with open("cookies.json") as file:
cookiez = json.load(file)
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/100.0.4896.60 Safari/537.36",
"accept-language": "en-EN,en;q=0.9,en-US;q=0.8,en;q=0.7"
}
response = requests.get(url=url, headers=headers)
print(response.text)