1

Пытаюсь парсить названия продуктов на сайте магазина Перекрёсток: https://www.perekrestok.ru/cat/c/211/soki-nektary. Однако список спарсеных результатов пуст. Смотрел Network XHR аякса нету. Код:

import requests
from bs4 import BeautifulSoup as BS


r = requests.get("https://www.perekrestok.ru/cat/c/211/soki-nektary", headers={"content-type": "text"})
html = BS(r.content, 'html.parser')
print(html)
el = html.find_all("div", class_="product-card__title")
print(el)

Почему результаты не парсятся и как это исправить?

2
  • В запросах вижу POST-запрос, который обращается на /api/customer/1.4.0.0/catalog/product/grouped-feed, чтобы забрать json с объектами (в данном случае соками) страницы. Попробуйте с ним поработать. 31 июл 2021 в 13:57
  • @Andy Pavlov Только как по этому урэлу работать, если при переходе по нему и при реквести на него появляется ошибка: {"content":null,"error":{"code":"ACCESS_TOKEN_INVALID","message":"Access token invalid."}}?
    – Kram
    31 июл 2021 в 17:43

1 ответ 1

1

Там есть XHR запросы к https://www.perekrestok.ru/api/customer/1.4.0.0/catalog и к https://www.perekrestok.ru/api/customer/1.4.0.0/catalog/product/grouped-feed но для доступа к ним из веб страницы запросы идут с сессионным ключом который передаётся параметром заголовка Auth: Bearer <код ключа>,

Этот указывается в поле куке session в поле accessToken.

Поэтому нужно:

  1. Вначале с правильным User-Agent обратится к веб-странице и получить куку
  2. Извлечь токен из session.accessToken
  3. Использовать токен для передачи Auth: Bearer <значение assessToken> в headers запроса.
1
  • Спасибо, большое получилось!
    – Kram
    1 авг 2021 в 8:20

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.