0

При попытке get-запроса, статус код: 401 - https://leroymerlin.ru/catalogue/ Я так понимаю, что в данном случае необходимо использовать post-запрос? Но что передавать в нем?

Это ведь защита сайта от сбора информации? Как такое обходить? В какую сторону читать?

Спасибо заранее!

import requests


def get_html(url):
    s = requests.Session()
    response = s.get(url=url)
    print(response.status_code)

def main():
    get_html(url="https://leroymerlin.ru/catalogue/stroymaterialy/")

if __name__ == "__main__":
    main()
6
  • покажите минимальный код, который позволяет воспроизвести ошибку
    – ZxNuClear
    3 сен 2022 в 9:53
  • исправил вопрос, добавил код
    – maxwjiill
    3 сен 2022 в 10:37
  • так у вас результатом выполнение функции и является вывод статуса print(response.status_code)
    – ZxNuClear
    3 сен 2022 в 10:45
  • Я записывал, то что забирал гет-запрос в html файл. Код не был похож на тот, что я видел если смотрел через браузер. status_code я начал выводить, чтобы посмотреть что возвращает, возвращает - 401 - "запрос не был применён, поскольку ему не хватает действительных учётных данных для целевого ресурса" И я не понимаю, что мне делать далее для того, чтобы забрать информацию. Подумал, что необходимо использовать post-запрос и вообще послушать, что скажут более опытные люди)
    – maxwjiill
    3 сен 2022 в 10:56
  • 1
    "что скажут более опытные люди" лично вам переходить на селенимум. А чтоб писать POST-запросы надо уметь их перехватывать. Почитать на досуге ru.stackoverflow.com/a/924276/470333 3 сен 2022 в 11:38

1 ответ 1

1
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:104.0) Gecko/20100101 Firefox/104.0',
}
response = requests.get('https://leroymerlin.ru/content/elbrus/moscow/ru/catalogue.navigation.json', headers=headers)

for category in response.json()['children']:
    print()
    print(category['name'])
    print(f"  site https://leroymerlin.ru{category['sitePath']}")
    print(f"  json https://leroymerlin.ru/content/elbrus/moscow/ru{category['navigationChunk']}")
    for subcategory in category['children']:
        print('    ', subcategory['name'])
        print(f"{' '*6}site https://leroymerlin.ru{subcategory['sitePath']}")
        print(f"{' '*6}json https://leroymerlin.ru/content/elbrus/moscow/ru{subcategory['navigationChunk']}")

Стройматериалы
  site https://leroymerlin.ru/catalogue/stroymaterialy/
  json https://leroymerlin.ru/content/elbrus/moscow/ru/catalogue/stroymaterialy.navigation.json
     Сухие смеси и грунтовки
      site https://leroymerlin.ru/catalogue/suhie-smesi-i-gruntovki/
      json https://leroymerlin.ru/content/elbrus/moscow/ru/catalogue/suhie-smesi-i-gruntovki.navigation.json
     Изоляционные материалы
      site https://leroymerlin.ru/catalogue/izolyacionnye-materialy/
      json https://leroymerlin.ru/content/elbrus/moscow/ru/catalogue/izolyacionnye-materialy.navigation.json
....
8
  • Спасибо за полезный код! Можно, вас, попросить объяснить принцип поиска json'а для гет запроса?
    – maxwjiill
    4 сен 2022 в 11:00
  • И правильно я понимаю, что забирая подобные json я не могу инофрмацию по товарам вытянуть? Я могу находить только ссылки на все товары?
    – maxwjiill
    4 сен 2022 в 11:23
  • 1
    "объяснить принцип поиска json'а" ссылку давал ранее, принцип тот-же, анализируем содержимое запросов (что получаем, какие данные отсылаем), строим логическую цепочку 4 сен 2022 в 12:48
  • С этим вопросом разобрался) Сайт отдал способ навигация по нему, я смог достать ссылки абсолютно на все подкатегории. Но далее стоит вопрос в заборе данных с товаров в этих подкатегориях). По вашему методу я смог найти json и с товарами, но его забирать можно только post методом (как я понял). Это я и должен теперь сделать, так?)
    – maxwjiill
    4 сен 2022 в 17:25
  • 1

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.