Посмотрел по ссылке и тот сайт, выбранный город и магазин, хранит в cookies, который будет передаваться в заголовке запроса Cookie.
Думаю, вам нужно заполнять в cookies следующие значения:
Вот так выглядит для Магнитогорска:
Cookie: .ASPXANONYMOUS=<...>; CustomerId=<...>; ReviewedSkus=<...>; ASP.NET_SessionId=<...>; lentaT2=mgn; CityCookie=mgn; Store=0074
А вот так для Санкт-Петербурга:
Cookie: .ASPXANONYMOUS=<...>; CustomerId=<...>; ReviewedSkus=<...>; ASP.NET_SessionId=<...>; lentaT2=spb; CityCookie=spb; Store=0718
В requests
куки передаются параметром как словарь, пример из документации:
>>> url = 'https://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')
>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'
PS.
Советую:
- Заполнять HTTP заголовок
User-Agent
, так ваш скрипт будет сложнее отличить от обычного клиента, requests
автоматически отправляет этот заголовок, но в нем указывает себя и свою версию
- Использовать requests.Session, этот объект помнить куки, что ему сервер возвращал и сам их отправляет в запросах
response.content
? Вы пытались найти вручную теги которые Вы ищете супом?