0

Необходимо спарсить данные студентов(Факультет/Курс/Группа/ФИО) с авторизацией на сайте университета. Столкнулся с трудностью, что все данные подгружается через AJAX и я так и не смог додуматься как спарсить json с помощью POST запроса.

Мой код:

import requests
from bs4 import BeautifulSoup
import requests
import fake_useragent
from requests.sessions import session
import json

url = 'https://lk.ugatu.su/'
url2 = 'https://lk.ugatu.su/SendMessage'


s = requests.Session()
user = fake_useragent.UserAgent().random
header = {
    'user-agent':user,
    'referer': url,
}

#Авторизация
r = s.get(url)
csrf_token = r.cookies['csrftoken']

data = {
    'csrfmiddlewaretoken': csrf_token,
    'user_login': '************',
    'user_password': '*******',
}

d = s.post(url, data=data, headers=header)

#Переход на другую страницу
r = s.get(url2)
header = {
    'user-agent':user,
    'referer': url2,
}
csrf_token = r.cookies['csrftoken']

data2 = {
    'csrfmiddlewaretoken': csrf_token,
    'faculty':'АВИЭТ',
    'klass':'3',
    'MessageType':'студенту',
}

dd = s.post(url2, data=data2, headers=header)
print(dd.text)

Результат:

<html>
        <head>
                <meta http-equiv="content-language" content="ru" />
                <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
                <meta name="description" content="Официальный сайт УГАТУ"/>
                <meta name="document-state" content="Dynamic" />
                <meta name="robots" content="index,follow" />
                <meta name="viewport" content="width=device-width, initial-scale=1">
                <title>УГАТУ Личный кабинет</title>
                <link rel="icon" href='/static/images/icons/favicon_usatu.ico'>


                <link rel="stylesheet" href="https://pro.fontawesome.com/releases/v5.10.0/css/all.css" integrity="sha384-AYmEC3Yw5cVb3ZcuHtOA93w35dYTsvhLPVnYs9eStHfGJvOvKxVfELGroGkvsg+p" crossorigin="anonymous"/>        





                <link rel="stylesheet" href='/static/css/latofonts.css' media="screen" type="text/css">
                <link rel="stylesheet" href='/static/css/layout.css' type="text/css">
                <link rel="stylesheet" href='/static/css/style.css' type="text/css">
                <link rel="stylesheet" href='/static/css/main.css' type="text/css">


                <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/font-awesome/4.5.0/css/font-awesome.min.css">





                <a id="topArrow"></a>


                <script src='/static/js/jquery.min.js'></script>

                <style>
                        #topArrow {
                          display: inline-block;
                          background-color: #FF9800;
                          width: 50px;
                          height: 50px;
                          text-align: center;
                          border-radius: 4px;
                          position: fixed;
                          bottom: 30px;
                          right: 30px;
                          transition: background-color .3s,
                            opacity .5s, visibility .5s;
                          opacity: 0;
                          visibility: hidden;
                          z-index: 1000;
                        }
                        #topArrow::after {
                          content: "\f077";
                          font-family: FontAwesome;
                          font-weight: normal;
                          font-style: normal;
                          font-size: 2em;
                          line-height: 50px;
                          color: #fff;
                        }
                        #topArrow:hover {
                          cursor: pointer;
                          background-color: #333;
                        }
                        #topArrow:active {
                          background-color: #555;
                        }
                        #topArrow.show {
                          opacity: 1;
                          visibility: visible;
                        }
                </style>


                <script>
                        var btn = $('#topArrow');

                        $(window).scroll(function() {
                          if ($(window).scrollTop() > 300) {
                            btn.addClass('show');
                          } else {
                            btn.removeClass('show');
                          }
                        });

                        btn.on('click', function(e) {
                          e.preventDefault();
                          $('html, body').animate({scrollTop:0}, '300');
                        });
                </script>

                <script src='/static/js/script.js'></script>

                <script type="text/javascript">!function(){var t=document.createElement("script");t.type="text/javascript",t.async=!0,t.src="https://vk.com/js/api/openapi.js?167",t.onload=function(){VK.Retargeting.Init("VK-RTRG-460161-gFQP7"),VK.Retargeting.Hit()},document.head.appendChild(t)}();</script><noscript><img src="https://vk.com/rtrg?p=VK-RTRG-460161-gFQP7" style="position:fixed; left:-999px;" alt=""/></noscript>
                <!-- Global site tag (gtag.js) - Google Analytics -->
                <script async src="https://www.googletagmanager.com/gtag/js?id=UA-159235314-1"></script>
                <script>
                  window.dataLayer = window.dataLayer || [];
                  function gtag(){dataLayer.push(arguments);}
                  gtag('js', new Date());

                  gtag('config', 'UA-159235314-1');
                </script>
                <!-- Yandex.Metrika counter -->
                <script type="text/javascript" >
                   (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
                   m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
                   (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");

                   ym(48827261, "init", {
                                clickmap:true,
                                trackLinks:true,
                                accurateTrackBounce:true,
                                webvisor:true
                   });
                </script>
                <noscript><div><img src="https://mc.yandex.ru/watch/48827261" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
                <!-- /Yandex.Metrika counter -->
        </head>
        <!-- Yandex.Metrika counter UIT -->
        <script type="text/javascript" >
                (function (d, w, c) {
                        (w[c] = w[c] || []).push(function() {
                                try {
                                        w.yaCounter48880130 = new Ya.Metrika({
                                                id:46416795,
                                                clickmap:true,
                                                trackLinks:true,
                                                accurateTrackBounce:true,
                                                webvisor:true
                                        });
                                } catch(e) { }
                        });

                        var n = d.getElementsByTagName("script")[0],
                                s = d.createElement("script"),
                                f = function () { n.parentNode.insertBefore(s, n); };
                        s.type = "text/javascript";
                        s.async = true;
                        s.src = "https://mc.yandex.ru/metrika/watch.js";

                        if (w.opera == "[object Opera]") {
                                d.addEventListener("DOMContentLoaded", f, false);
                        } else { f(); }
                })(document, window, "yandex_metrika_callbacks");
        </script>
        <noscript><div><img src="https://mc.yandex.ru/watch/46416795" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
        <!-- /Yandex.Metrika counter -->
        <!-- Rating Mail.ru counter -->
        <script type="text/javascript">
        var _tmr = window._tmr || (window._tmr = []);
        _tmr.push({id: "3163761", type: "pageView", start: (new Date()).getTime(), pid: "USER_ID"});
        (function (d, w, id) {
          if (d.getElementById(id)) return;
          var ts = d.createElement("script"); ts.type = "text/javascript"; ts.async = true; ts.id = id;
          ts.src = "https://top-fwz1.mail.ru/js/code.js";
          var f = function () {var s = d.getElementsByTagName("script")[0]; s.parentNode.insertBefore(ts, s);};
          if (w.opera == "[object Opera]") { d.addEventListener("DOMContentLoaded", f, false); } else { f(); }
        })(document, window, "topmailru-code");
        </script><noscript><div>
        <img src="https://top-fwz1.mail.ru/counter?id=3163761;js=na" style="border:0;position:absolute;left:-9999px;" alt="Top.Mail.Ru" />
        </div></noscript>
        <!-- //Rating Mail.ru counter -->

        <body class="wrapper base-font">


<style>
        .navbar-options {
                display: flex;
                align-items: center;
                margin-left: auto;
                width: max-content;
        }
</style>

                        <header class="header">
                                <div class="topline clearfix">
                                        <div class="container clearfix">

                                                <div>
                                                        <a class="topline-link" href="http://ugatu.su/">
                                                                <img class="topline-logo" src='/static/images/logo-ugatu-brand-red-white.png'/>
                                                        </a>
                                                        <span class="topline-date">
                                                                <span>22 июля</span><br/>
                                                                <span>47 - я учебная неделя</span>
                                                        </span>
                                                </div>


                                                <button class="button small" id="MediumFontButton" type="button" style="display:none;" onclick="setMediumFont()">А</button>
                                                <button class="button small" id="LargeFontButton" type="button" style="display:none; font-size: 125%;" onclick="setLargeFont()">А</button>
                                                <button class="button small" id="HugeFontButton" type="button" style="display:none; font-size: 150%;" onclick="setHugeFont()">А</button>
                                                <button class="button small" id="InversionButton" type="button" style="display:none;" onclick="invertMonochrome()">инверсия цветов</button>
                                                <button class="button small" id="StandartVersionButton" type="button" style="display:none;" onclick="disableMonochrome()">обычная версия сайта</button>

                                                <div class="navbar-options">
                                                        <span class="header-menu__item op">
                                                    <img src="/static/images/cross.svg" title="Вызвать спецавто" alt="Вызвать спецавто">
                                                </span>
                                                        <a href="/logout" class="topline-logout">
                                                                <img class="topline-icon" src='/static/images/icon-logout-white.svg' title="Выйти из ЛК" alt="Выйти из ЛК"/>
                                                        </a>
                                                        <input class="topline-icon" id="MonochromeVersionButton" src='/static/images/icon-glasses-white.svg' title="Версия для слабовидящих" alt="Версия для слабовидящих" onclick="enableMonochrome()" type="image"/>
                                                </div>

                                        </div>
                                </div>
                        </header>
                        <nav class="main-nav">
                                <div class="container">
                                        <ul class="main-menu">
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-main.png'>
                                                                        <span class="menu-text centered-vertical">Главная</span>
                                                                </span>
                                                        </a>
                                                </li>




                                                <!--  -->

                                                <li class="menu-item">
                                                        <a class="menu-link" href="/raspisanie">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-timetable.png'>
                                                                        <span class="menu-text centered-vertical">Расписание</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/ref">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-certificate.png'>
                                                                        <span class="menu-text centered-vertical">Мои документы</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/ntb">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-library.png'>
                                                                        <span class="menu-text centered-vertical">Библиоресурсы</span>
                                                                </span>
                                                        </a>
                                                </li>

                                                <li class="menu-item">
                                                        <a class="menu-link" href="/addInformation">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-feedback.png'>
                                                                        <span class="menu-text centered-vertical smaller-font">Обратная связь</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/SendWork">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-portfolio.png'>
                                                                        <span class="menu-text centered-vertical">Портфолио</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/achievements">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-achievements.png'>
                                                                        <span class="menu-text centered-vertical">Достижения</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/Curriculum">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-curriculum.png'>
                                                                        <span class="menu-text centered-vertical">Учебный план</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/SendMessage">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-messages.png'>
                                                                        <span class="menu-text centered-vertical">Сообщения</span>
                                                                </span>
                                                        </a>
                                                </li>




                                        </ul>
                                </div>
                        </nav>







                        <div class="health-help">

  <div class="close-form close-form_btn">
    <img src="/static/images/close.png" alt="">
  </div>



    <div class="b-call">
        <div class="b-call__header">
            <img src="/static/images/health-icon.png" alt="">
            <h2 style="text-transform: none;">Заявка на вызов спецавто</h2>
        </div>

        <p>Вы можете позвонить по номеру телефона:</p>
        <a href="tel:+79083504909" class="b-call__phone">8-908-35-04-909</a>
        <div class="btn-wrapper">
            <a href="tel:+79083504909" class="btn btn_red">
                Позвонить
            </a>
            <p>или <span class="open-b-ticket">заполнить форму ниже</span></p>
        </div>
    </div>

    <form method="POST" class="b-ticket">
        <input type="hidden" name="csrfmiddlewaretoken" value="pdklgkAfCDDOjDRIqpjrMFhAzDyZOIm4rEW4ufKvlMiYS53vP6TXIp9SuP5BciNh">

        <input type="text" name="full_name" placeholder="Введите ФИО" required id="id_full_name">
        <input type="text" name="phone_number" placeholder="Введите номер телефона" required id="id_phone_number">
        <textarea name="message" placeholder="Введите текст сообщения" required id="id_message">
</textarea>

        <label for="id_consent" class="agree" style="width: 100%;">
            <input type="checkbox" name="consent" class="required-check" id="id_consent">
            <span class="checkmark"></span>
            <p class="agree_anketa">
                Согласен на <a href="/user-agreement/" target="_blank">обработку пер�

Через консоль разработчика выяснил параметры для 1-го запроса:

Запрос 1 - параметры

Далее получаемый json ответ содержащий id и название группы:

Запрос 1 - результат

Далее для 2-го запроса нашел следующие параметры:

Запрос 2 - параметры

И получаемый json ответ:

Запрос 2 - результат

Помогите хотя бы советом, как мне реализовать парсинг json правильно. Я думал спарсить данные из html документа, но они не подгружаются.

Дополнение: Приведу фрагмент кода реализации SendMessage

function Filter(){
                $.ajax({
                    type: "POST",
                    url:"SendMessage",
                    dataType: "json",
                    async: true,
                    data:{
                        csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
                        faculty:$('#id_faculty').val(),
                        klass:$('#id_klass').val(),
                        MessageType:$('input[name="MessageType"]:checked').val(),
                    },
                    success: function (json){
                        $("#id_group").empty();
                        $("#id_user").empty();
                        $("#id_dep").empty();
                        if($('input[name="MessageType"]:checked').val()=="студенту"){
                            $("#id_group").prepend('<option value="">---------</option>');
                            $.each(json, function(i, item) {
                                $('#id_group').append('<option value = "'+item.id+'">'+item.mane+'</option>');
                            });
                        }else{
                            $("#id_dep").prepend('<option value="">---------</option>');
                            $.each(json, function(i, item) {
                                $('#id_dep').append('<option value = "'+item.id+'">'+item.mane+'</option>');
                        });
                        }
                    }
                });
            }
            function FilterReciever(){

                $.ajax({
                    type: "POST",
                    url:"SendMessage",
                    dataType: "json",
                    async: true,
                    data:{
                        csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
                        faculty:$('#id_faculty').val(),
                        klass:$('#id_klass').val(),
                        group:$('#id_group').val(),
                        dep:$('#id_dep').val(),
                        MessageType:$('input[name="MessageType"]:checked').val(),
                        GroupOrUser:1,
                    },
                    success: function (json){
                        $("#id_user").empty();
                        $("#id_user").prepend('<option value="">---------</option>');
                        $.each(json, function(i, item) {
                            $('#id_user').append('<option value = "'+item.id+'">'+item.name+'</option>');
                        });
                    }
                });
            }
3
  • Из результата запроса json получается элементарно: r.json(), но где вы запрашиваете json-ы я так и не понял
    – CrazyElf
    22 июл 2021 в 18:00
  • Я пытался так сделать, но видимо ошибка в заголовке запроса. При попытке спарсить json, получаю html документ в формате json.
    – Jemale
    22 июл 2021 в 19:43
  • Исправил свой код, и сделал загрузку json
    – Jemale
    22 июл 2021 в 20:04

1 ответ 1

0

Внес исправления в заголовок при POST запросе:

import requests
from bs4 import BeautifulSoup
import requests
import fake_useragent
from requests.sessions import session
import json

url = 'https://lk.ugatu.su/'
url2 = 'https://lk.ugatu.su/SendMessage'


s = requests.Session()
user = fake_useragent.UserAgent().random
header = {
    'user-agent':user,
    'referer': url,
}

r = s.get(url)
csrf_token = r.cookies['csrftoken']

data = {
    'csrfmiddlewaretoken': csrf_token,
    'user_login': '******',
    'user_password': '*******',
}

d = s.post(url, data=data, headers=header)

r = s.get(url2)
header = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding':'gzip, deflate, br',
    'Accept-Language':'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
    'Connection': 'keep-alive',
    'Content-Length': '192',
    'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
    'referer': url2,
    'user-agent': user,
    'X-Requested-With':'XMLHttpRequest',
}
csrf_token = r.cookies['csrftoken']


data2 = {
    'csrfmiddlewaretoken': csrf_token,
    'faculty':'АВИЭТ',
    'klass':'3',
    'MessageType':'студенту',
}


dd = json.loads(s.post(url2, data=data2, headers=header).content)
print(dd)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.