0

Я авторизовался, теперь нужно спарсить данные уже с другой страницы. При переходе на другую страницу я уже не авторизован. Я так понимаю дело в куках? Мог бы кто помочь мне? Как получить куки после отправки запроса, и как их использовать при переходе на другую страницу? (если можно кусочек кода)

session = requests.Session()
r = session.post(url,dann)
1

1 ответ 1

3
with requests.Session() as session:
    url = "www.example.com" # Ваш URL с формами логина
    LOGIN = "username" # Ваш логин
    PASSWORD = "password" # Ваш пароль
    dann = dict(username = LOGIN, pass = PASSWORD) # Данные в виде словаря, которые будут отправляться в POST
    session.get(url) # Получаем страницу с формой логина
    session.post(url, dann) # Отправляем данные в POST, в session записываются наши куки
    url2 = "www.example.com/data_for_parsing" # Ваш второй URL - тот с которого вам нужно спарсить данные
    r = session.get(url2) # Все! Вы получили Response. Поскольку в session записались куки авторизации - при вызове метода get() с этой сессии в Request отправляются ваши куки.

print(r.text) # Дальше делайте с вашими данными все что захотите

В данном куске кода я использовал конструкцию with ... as ... для того что-бы связь прервалась после выполнения кода, даже в случае непредвиденной ошибки.

В словаре который мы отправляем в POST (в данном случае переменная dann) ключи должны соответствовать ключам которые мы отправляем в заголовке пакета.

Как получить эти ключи:

  • Через инспектор кода найти элемент поля ввода, чаще всего это тег
  • Найдите аргумент name, его значение - требуемый ключ.

Но не всегда в POST при авторизации отправляют только два значения. Бывает разная защита, csrf токены и прочее.

Для того, что-бы узнать все данные которые вы отправили в POST при авторизации (для браузера Google Chrome):

  1. Зайдите на страницу авторизации. Если авторизованы - выйдите
  2. Нажмите кнопку F12, перейдите на вкладку Network
  3. Вбейте в поля ввода данные, после чего нажмите на кнопку авторизации
  4. После отправки данных, вас скорее всего перенаправит. Дождитесь прогрузки страницы, после чего пролистайте список в самый верх. Нужный нам реквест обычно самый первый по времени на таймлайне (timeline), содержит в названии (Name) слово "login", метод отправки POST.
  5. Нажмите на найденный запрос, во вкладке Headers найдите отдел Form Data. Там и содержатся нужные вам ключи.

Дальше все индивидуально и экспериментальным путем.

1
  • Станислав Бобокало - спасибо тебе добрый человек ) только в моём случае нужно было еще добавлять headers при get и post запросах 22 фев 2020 в 4:47

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.