Необходимо спарсить данные студентов(Факультет/Курс/Группа/ФИО) с авторизацией на сайте университета. Столкнулся с трудностью, что все данные подгружается через AJAX и я так и не смог додуматься как спарсить json с помощью POST запроса.
Мой код:
import requests
from bs4 import BeautifulSoup
import requests
import fake_useragent
from requests.sessions import session
import json
url = 'https://lk.ugatu.su/'
url2 = 'https://lk.ugatu.su/SendMessage'
s = requests.Session()
user = fake_useragent.UserAgent().random
header = {
'user-agent':user,
'referer': url,
}
#Авторизация
r = s.get(url)
csrf_token = r.cookies['csrftoken']
data = {
'csrfmiddlewaretoken': csrf_token,
'user_login': '************',
'user_password': '*******',
}
d = s.post(url, data=data, headers=header)
#Переход на другую страницу
r = s.get(url2)
header = {
'user-agent':user,
'referer': url2,
}
csrf_token = r.cookies['csrftoken']
data2 = {
'csrfmiddlewaretoken': csrf_token,
'faculty':'АВИЭТ',
'klass':'3',
'MessageType':'студенту',
}
dd = s.post(url2, data=data2, headers=header)
print(dd.text)
Результат:
<html>
<head>
<meta http-equiv="content-language" content="ru" />
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
<meta name="description" content="Официальный сайт УГАТУ"/>
<meta name="document-state" content="Dynamic" />
<meta name="robots" content="index,follow" />
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>УГАТУ Личный кабинет</title>
<link rel="icon" href='/static/images/icons/favicon_usatu.ico'>
<link rel="stylesheet" href="https://pro.fontawesome.com/releases/v5.10.0/css/all.css" integrity="sha384-AYmEC3Yw5cVb3ZcuHtOA93w35dYTsvhLPVnYs9eStHfGJvOvKxVfELGroGkvsg+p" crossorigin="anonymous"/>
<link rel="stylesheet" href='/static/css/latofonts.css' media="screen" type="text/css">
<link rel="stylesheet" href='/static/css/layout.css' type="text/css">
<link rel="stylesheet" href='/static/css/style.css' type="text/css">
<link rel="stylesheet" href='/static/css/main.css' type="text/css">
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/font-awesome/4.5.0/css/font-awesome.min.css">
<a id="topArrow"></a>
<script src='/static/js/jquery.min.js'></script>
<style>
#topArrow {
display: inline-block;
background-color: #FF9800;
width: 50px;
height: 50px;
text-align: center;
border-radius: 4px;
position: fixed;
bottom: 30px;
right: 30px;
transition: background-color .3s,
opacity .5s, visibility .5s;
opacity: 0;
visibility: hidden;
z-index: 1000;
}
#topArrow::after {
content: "\f077";
font-family: FontAwesome;
font-weight: normal;
font-style: normal;
font-size: 2em;
line-height: 50px;
color: #fff;
}
#topArrow:hover {
cursor: pointer;
background-color: #333;
}
#topArrow:active {
background-color: #555;
}
#topArrow.show {
opacity: 1;
visibility: visible;
}
</style>
<script>
var btn = $('#topArrow');
$(window).scroll(function() {
if ($(window).scrollTop() > 300) {
btn.addClass('show');
} else {
btn.removeClass('show');
}
});
btn.on('click', function(e) {
e.preventDefault();
$('html, body').animate({scrollTop:0}, '300');
});
</script>
<script src='/static/js/script.js'></script>
<script type="text/javascript">!function(){var t=document.createElement("script");t.type="text/javascript",t.async=!0,t.src="https://vk.com/js/api/openapi.js?167",t.onload=function(){VK.Retargeting.Init("VK-RTRG-460161-gFQP7"),VK.Retargeting.Hit()},document.head.appendChild(t)}();</script><noscript><img src="https://vk.com/rtrg?p=VK-RTRG-460161-gFQP7" style="position:fixed; left:-999px;" alt=""/></noscript>
<!-- Global site tag (gtag.js) - Google Analytics -->
<script async src="https://www.googletagmanager.com/gtag/js?id=UA-159235314-1"></script>
<script>
window.dataLayer = window.dataLayer || [];
function gtag(){dataLayer.push(arguments);}
gtag('js', new Date());
gtag('config', 'UA-159235314-1');
</script>
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
ym(48827261, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/48827261" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
</head>
<!-- Yandex.Metrika counter UIT -->
<script type="text/javascript" >
(function (d, w, c) {
(w[c] = w[c] || []).push(function() {
try {
w.yaCounter48880130 = new Ya.Metrika({
id:46416795,
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});
} catch(e) { }
});
var n = d.getElementsByTagName("script")[0],
s = d.createElement("script"),
f = function () { n.parentNode.insertBefore(s, n); };
s.type = "text/javascript";
s.async = true;
s.src = "https://mc.yandex.ru/metrika/watch.js";
if (w.opera == "[object Opera]") {
d.addEventListener("DOMContentLoaded", f, false);
} else { f(); }
})(document, window, "yandex_metrika_callbacks");
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/46416795" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
<!-- Rating Mail.ru counter -->
<script type="text/javascript">
var _tmr = window._tmr || (window._tmr = []);
_tmr.push({id: "3163761", type: "pageView", start: (new Date()).getTime(), pid: "USER_ID"});
(function (d, w, id) {
if (d.getElementById(id)) return;
var ts = d.createElement("script"); ts.type = "text/javascript"; ts.async = true; ts.id = id;
ts.src = "https://top-fwz1.mail.ru/js/code.js";
var f = function () {var s = d.getElementsByTagName("script")[0]; s.parentNode.insertBefore(ts, s);};
if (w.opera == "[object Opera]") { d.addEventListener("DOMContentLoaded", f, false); } else { f(); }
})(document, window, "topmailru-code");
</script><noscript><div>
<img src="https://top-fwz1.mail.ru/counter?id=3163761;js=na" style="border:0;position:absolute;left:-9999px;" alt="Top.Mail.Ru" />
</div></noscript>
<!-- //Rating Mail.ru counter -->
<body class="wrapper base-font">
<style>
.navbar-options {
display: flex;
align-items: center;
margin-left: auto;
width: max-content;
}
</style>
<header class="header">
<div class="topline clearfix">
<div class="container clearfix">
<div>
<a class="topline-link" href="http://ugatu.su/">
<img class="topline-logo" src='/static/images/logo-ugatu-brand-red-white.png'/>
</a>
<span class="topline-date">
<span>22 июля</span><br/>
<span>47 - я учебная неделя</span>
</span>
</div>
<button class="button small" id="MediumFontButton" type="button" style="display:none;" onclick="setMediumFont()">А</button>
<button class="button small" id="LargeFontButton" type="button" style="display:none; font-size: 125%;" onclick="setLargeFont()">А</button>
<button class="button small" id="HugeFontButton" type="button" style="display:none; font-size: 150%;" onclick="setHugeFont()">А</button>
<button class="button small" id="InversionButton" type="button" style="display:none;" onclick="invertMonochrome()">инверсия цветов</button>
<button class="button small" id="StandartVersionButton" type="button" style="display:none;" onclick="disableMonochrome()">обычная версия сайта</button>
<div class="navbar-options">
<span class="header-menu__item op">
<img src="/static/images/cross.svg" title="Вызвать спецавто" alt="Вызвать спецавто">
</span>
<a href="/logout" class="topline-logout">
<img class="topline-icon" src='/static/images/icon-logout-white.svg' title="Выйти из ЛК" alt="Выйти из ЛК"/>
</a>
<input class="topline-icon" id="MonochromeVersionButton" src='/static/images/icon-glasses-white.svg' title="Версия для слабовидящих" alt="Версия для слабовидящих" onclick="enableMonochrome()" type="image"/>
</div>
</div>
</div>
</header>
<nav class="main-nav">
<div class="container">
<ul class="main-menu">
<li class="menu-item">
<a class="menu-link" href="/">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-main.png'>
<span class="menu-text centered-vertical">Главная</span>
</span>
</a>
</li>
<!-- -->
<li class="menu-item">
<a class="menu-link" href="/raspisanie">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-timetable.png'>
<span class="menu-text centered-vertical">Расписание</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/ref">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-certificate.png'>
<span class="menu-text centered-vertical">Мои документы</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/ntb">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-library.png'>
<span class="menu-text centered-vertical">Библиоресурсы</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/addInformation">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-feedback.png'>
<span class="menu-text centered-vertical smaller-font">Обратная связь</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/SendWork">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-portfolio.png'>
<span class="menu-text centered-vertical">Портфолио</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/achievements">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-achievements.png'>
<span class="menu-text centered-vertical">Достижения</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/Curriculum">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-curriculum.png'>
<span class="menu-text centered-vertical">Учебный план</span>
</span>
</a>
</li>
<li class="menu-item">
<a class="menu-link" href="/SendMessage">
<span class="centered-vertical">
<img class="menu-icon" src='/static/images/menu-messages.png'>
<span class="menu-text centered-vertical">Сообщения</span>
</span>
</a>
</li>
</ul>
</div>
</nav>
<div class="health-help">
<div class="close-form close-form_btn">
<img src="/static/images/close.png" alt="">
</div>
<div class="b-call">
<div class="b-call__header">
<img src="/static/images/health-icon.png" alt="">
<h2 style="text-transform: none;">Заявка на вызов спецавто</h2>
</div>
<p>Вы можете позвонить по номеру телефона:</p>
<a href="tel:+79083504909" class="b-call__phone">8-908-35-04-909</a>
<div class="btn-wrapper">
<a href="tel:+79083504909" class="btn btn_red">
Позвонить
</a>
<p>или <span class="open-b-ticket">заполнить форму ниже</span></p>
</div>
</div>
<form method="POST" class="b-ticket">
<input type="hidden" name="csrfmiddlewaretoken" value="pdklgkAfCDDOjDRIqpjrMFhAzDyZOIm4rEW4ufKvlMiYS53vP6TXIp9SuP5BciNh">
<input type="text" name="full_name" placeholder="Введите ФИО" required id="id_full_name">
<input type="text" name="phone_number" placeholder="Введите номер телефона" required id="id_phone_number">
<textarea name="message" placeholder="Введите текст сообщения" required id="id_message">
</textarea>
<label for="id_consent" class="agree" style="width: 100%;">
<input type="checkbox" name="consent" class="required-check" id="id_consent">
<span class="checkmark"></span>
<p class="agree_anketa">
Согласен на <a href="/user-agreement/" target="_blank">обработку пер�
Через консоль разработчика выяснил параметры для 1-го запроса:
Далее получаемый json ответ содержащий id и название группы:
Далее для 2-го запроса нашел следующие параметры:
И получаемый json ответ:
Помогите хотя бы советом, как мне реализовать парсинг json правильно. Я думал спарсить данные из html документа, но они не подгружаются.
Дополнение: Приведу фрагмент кода реализации SendMessage
function Filter(){
$.ajax({
type: "POST",
url:"SendMessage",
dataType: "json",
async: true,
data:{
csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
faculty:$('#id_faculty').val(),
klass:$('#id_klass').val(),
MessageType:$('input[name="MessageType"]:checked').val(),
},
success: function (json){
$("#id_group").empty();
$("#id_user").empty();
$("#id_dep").empty();
if($('input[name="MessageType"]:checked').val()=="студенту"){
$("#id_group").prepend('<option value="">---------</option>');
$.each(json, function(i, item) {
$('#id_group').append('<option value = "'+item.id+'">'+item.mane+'</option>');
});
}else{
$("#id_dep").prepend('<option value="">---------</option>');
$.each(json, function(i, item) {
$('#id_dep').append('<option value = "'+item.id+'">'+item.mane+'</option>');
});
}
}
});
}
function FilterReciever(){
$.ajax({
type: "POST",
url:"SendMessage",
dataType: "json",
async: true,
data:{
csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
faculty:$('#id_faculty').val(),
klass:$('#id_klass').val(),
group:$('#id_group').val(),
dep:$('#id_dep').val(),
MessageType:$('input[name="MessageType"]:checked').val(),
GroupOrUser:1,
},
success: function (json){
$("#id_user").empty();
$("#id_user").prepend('<option value="">---------</option>');
$.each(json, function(i, item) {
$('#id_user').append('<option value = "'+item.id+'">'+item.name+'</option>');
});
}
});
}
json
получается элементарно:r.json()
, но где вы запрашиваетеjson
-ы я так и не понял