Пытаюсь спарсить контент доступный только авторизованному пользователю. реализовать авторизацию у меня получилось. Post запрос возвращает страничку "вы успешно авторизовались бла бла ... " и в session.cookies появляются кукисы. Я так понимаю, что эти куки нужны чтобы сервер понимал, что мы авторизовались. так вот вопрос заключается в том как эти куки передавать серверу при дальнейших запросах? потому что когда я пытаюсь получить страницу session.get(some_url, cookies = session.cookies)
возвращается страница авторизации
import requests
from bs4 import BeautifulSoup as bs
session = requests.Session()
#get CSRF
r = session.get('https://cas.spbstu.ru/login?service=https%3A%2F%2Fcas.spbstu.ru%2Foauth2.0%2FcallbackAuthorize%3Fclient_id%3D5cae4f19-00ac-4910-b731-8e44065ad93d%26redirect_uri%3Dhttps%253A%252F%252Fdl.spbstu.ru%252Fauth%252Fspbstu%252Fredirect.php%253Fauth_service%253Dspbstu_oauth2%26response_type%3Dcode%26client_name%3DCasOAuthClient')
page = bs(r.content, 'html.parser')
csrf = page.select('input[name="execution"]')[0]['value']
#login
url = 'https://cas.spbstu.ru/login?service=https%3A%2F%2Fcas.spbstu.ru%2Foauth2.0%2FcallbackAuthorize%3Fclient_id%3D5cae4f19-00ac-4910-b731-8e44065ad93d%26redirect_uri%3Dhttps%253A%252F%252Fdl.spbstu.ru%252Fauth%252Fspbstu%252Fredirect.php%253Fauth_service%253Dspbstu_oauth2%26response_type%3Dcode%26client_name%3DCasOAuthClient'
params = {
'username' :'*******',
'password' :'*******',
'execution' : csrf,
'_eventId' :'submit',
'geolocation':''
}
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Safari/537.36',
'Referer': 'https://dl.spbstu.ru/my/',
'Connection': 'keep-alive',
}
answer = session.post(url, data = params, headers = headers)
answ_bs = bs(answer.content, 'html.parser')
# print(answ_bs)
content_page = session.get('https://dl.spbstu.ru/my/')
content = bs(content_page.content, 'html.parser')
print(content)
print(session.cookies)