Стоит задача: авторизоваться перейти на вкладку профиль и вывести все значения.
import requests
from bs4 import BeautifulSoup
import fake_useragent
создание сессии
session = requests.Session() # записывает куки и можно начинать с того места где закончил
фейк user-agent для маскировки парсера
user = fake_useragent.UserAgent().random
header = {'user-agent': user}
# http://forum.ru-board.com/misc.cgi - url post запроса
ссылка на авторизацию
link = "http://forum.ru-board.com/misc.cgi?action=login"
datas = {
"inmembername": u"<login>",
"inpassword": u"<password>",
}
авторизация на сайте
response = session.post(link, data=datas, headers=header).text # data=данные,
#headers=заголовки
print(response)
переход в профиль
profile_info = "http://forum.ru-board.com/profile.cgi"
profile_response = session.get(profile_info).text
print(profile_response)
Output:
<title>Ошибка :: Компьютерный форум Ru.Board</title>
<link rel="alternate" type="application/rss+xml" title="Ru-Board" href="http://rss.ru-
board.com/rss.cgi" />
</head>
<body bgcolor="#ffffff" alink="#333333" vlink="#333333" link="#333333" topmargin="2"
leftmargin="0">
<table cellpadding=3 cellspacing=1 border=0 width="95%" align="center" bgcolor="#999999">
<tr bgcolor="#FFFFFF"><td valign=top align=left class=tit><a href="board.cgi"><b>Компьютерный
форум Ru.Board</b></a> » Ошибка</td></tr></table>
<br><table cellpadding=4 cellspacing=1 border=0 width=95% bgcolor=#999999 align=center>
<tr><td bgcolor=#EEEEEE valign=middle align=center class=tit><b>Главное</b></td></tr>
<tr><td bgcolor=#FFFFFF valign=middle class=dats>
<br><ol type=square>
<li><b>Пожалуйста, только корректным способом входите в скрипт</b>
</ol><b>Возможные причины:</b>
<ol type=square>
вот неправильный пароль и т.д.
<li>Неправильный пароль
<li>Неправильное имя пользователя
<li><a href="legal.cgi">Незарегистрированный</a> Пользователь
</ol><br><center><a href="javascript:history.go(-1)"> << Вернуться назад</a>
</center></tr></td></table><br><center><br><a class="small" href="http://forum.ru-
board.com/infoads.cgi">Реклама на форуме Ru.Board.</a></center><br><table width=80%
align=center cellpadding=3 cellspacing=0><tr><td align=center valign=middle
class=small>Powered by <a href="http://www.ikonboard.com">Ikonboard "v2.1.7b"</a> © 2000
Ikonboard.com<br>Modified by Ru.Board<br>© Ru.Board 2000-2020<br/><br/>BitCoin: <a
href="bitcoin:1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC">1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC</a></td>
</tr></table>
Вопрос: Как нормально авторизоваться, чтобы не выводило ошибку и можно было продолжить парсинг?
Если что-то не понятно по коду, пишите в комментарии