0

Необходимо спарсить данные студентов(Факультет/Курс/Группа/ФИО) с авторизацией на сайте университета. Столкнулся с трудностью, что все данные подгружается через AJAX и я так и не смог додуматься как спарсить json с помощью POST запроса.

Мой код:

import requests
from bs4 import BeautifulSoup
import requests
import fake_useragent
from requests.sessions import session
import json

url = 'https://lk.ugatu.su/'
url2 = 'https://lk.ugatu.su/SendMessage'


s = requests.Session()
user = fake_useragent.UserAgent().random
header = {
    'user-agent':user,
    'referer': url,
}

#Авторизация
r = s.get(url)
csrf_token = r.cookies['csrftoken']

data = {
    'csrfmiddlewaretoken': csrf_token,
    'user_login': '************',
    'user_password': '*******',
}

d = s.post(url, data=data, headers=header)

#Переход на другую страницу
r = s.get(url2)
header = {
    'user-agent':user,
    'referer': url2,
}
csrf_token = r.cookies['csrftoken']

data2 = {
    'csrfmiddlewaretoken': csrf_token,
    'faculty':'АВИЭТ',
    'klass':'3',
    'MessageType':'студенту',
}

dd = s.post(url2, data=data2, headers=header)
print(dd.text)

Результат:

<html>
        <head>
                <meta http-equiv="content-language" content="ru" />
                <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
                <meta name="description" content="Официальный сайт УГАТУ"/>
                <meta name="document-state" content="Dynamic" />
                <meta name="robots" content="index,follow" />
                <meta name="viewport" content="width=device-width, initial-scale=1">
                <title>УГАТУ Личный кабинет</title>
                <link rel="icon" href='/static/images/icons/favicon_usatu.ico'>


                <link rel="stylesheet" href="https://pro.fontawesome.com/releases/v5.10.0/css/all.css" integrity="sha384-AYmEC3Yw5cVb3ZcuHtOA93w35dYTsvhLPVnYs9eStHfGJvOvKxVfELGroGkvsg+p" crossorigin="anonymous"/>        





                <link rel="stylesheet" href='/static/css/latofonts.css' media="screen" type="text/css">
                <link rel="stylesheet" href='/static/css/layout.css' type="text/css">
                <link rel="stylesheet" href='/static/css/style.css' type="text/css">
                <link rel="stylesheet" href='/static/css/main.css' type="text/css">


                <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/font-awesome/4.5.0/css/font-awesome.min.css">





                <a id="topArrow"></a>


                <script src='/static/js/jquery.min.js'></script>

                <style>
                        #topArrow {
                          display: inline-block;
                          background-color: #FF9800;
                          width: 50px;
                          height: 50px;
                          text-align: center;
                          border-radius: 4px;
                          position: fixed;
                          bottom: 30px;
                          right: 30px;
                          transition: background-color .3s,
                            opacity .5s, visibility .5s;
                          opacity: 0;
                          visibility: hidden;
                          z-index: 1000;
                        }
                        #topArrow::after {
                          content: "\f077";
                          font-family: FontAwesome;
                          font-weight: normal;
                          font-style: normal;
                          font-size: 2em;
                          line-height: 50px;
                          color: #fff;
                        }
                        #topArrow:hover {
                          cursor: pointer;
                          background-color: #333;
                        }
                        #topArrow:active {
                          background-color: #555;
                        }
                        #topArrow.show {
                          opacity: 1;
                          visibility: visible;
                        }
                </style>


                <script>
                        var btn = $('#topArrow');

                        $(window).scroll(function() {
                          if ($(window).scrollTop() > 300) {
                            btn.addClass('show');
                          } else {
                            btn.removeClass('show');
                          }
                        });

                        btn.on('click', function(e) {
                          e.preventDefault();
                          $('html, body').animate({scrollTop:0}, '300');
                        });
                </script>

                <script src='/static/js/script.js'></script>

                <script type="text/javascript">!function(){var t=document.createElement("script");t.type="text/javascript",t.async=!0,t.src="https://vk.com/js/api/openapi.js?167",t.onload=function(){VK.Retargeting.Init("VK-RTRG-460161-gFQP7"),VK.Retargeting.Hit()},document.head.appendChild(t)}();</script><noscript><img src="https://vk.com/rtrg?p=VK-RTRG-460161-gFQP7" style="position:fixed; left:-999px;" alt=""/></noscript>
                <!-- Global site tag (gtag.js) - Google Analytics -->
                <script async src="https://www.googletagmanager.com/gtag/js?id=UA-159235314-1"></script>
                <script>
                  window.dataLayer = window.dataLayer || [];
                  function gtag(){dataLayer.push(arguments);}
                  gtag('js', new Date());

                  gtag('config', 'UA-159235314-1');
                </script>
                <!-- Yandex.Metrika counter -->
                <script type="text/javascript" >
                   (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
                   m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
                   (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");

                   ym(48827261, "init", {
                                clickmap:true,
                                trackLinks:true,
                                accurateTrackBounce:true,
                                webvisor:true
                   });
                </script>
                <noscript><div><img src="https://mc.yandex.ru/watch/48827261" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
                <!-- /Yandex.Metrika counter -->
        </head>
        <!-- Yandex.Metrika counter UIT -->
        <script type="text/javascript" >
                (function (d, w, c) {
                        (w[c] = w[c] || []).push(function() {
                                try {
                                        w.yaCounter48880130 = new Ya.Metrika({
                                                id:46416795,
                                                clickmap:true,
                                                trackLinks:true,
                                                accurateTrackBounce:true,
                                                webvisor:true
                                        });
                                } catch(e) { }
                        });

                        var n = d.getElementsByTagName("script")[0],
                                s = d.createElement("script"),
                                f = function () { n.parentNode.insertBefore(s, n); };
                        s.type = "text/javascript";
                        s.async = true;
                        s.src = "https://mc.yandex.ru/metrika/watch.js";

                        if (w.opera == "[object Opera]") {
                                d.addEventListener("DOMContentLoaded", f, false);
                        } else { f(); }
                })(document, window, "yandex_metrika_callbacks");
        </script>
        <noscript><div><img src="https://mc.yandex.ru/watch/46416795" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
        <!-- /Yandex.Metrika counter -->
        <!-- Rating Mail.ru counter -->
        <script type="text/javascript">
        var _tmr = window._tmr || (window._tmr = []);
        _tmr.push({id: "3163761", type: "pageView", start: (new Date()).getTime(), pid: "USER_ID"});
        (function (d, w, id) {
          if (d.getElementById(id)) return;
          var ts = d.createElement("script"); ts.type = "text/javascript"; ts.async = true; ts.id = id;
          ts.src = "https://top-fwz1.mail.ru/js/code.js";
          var f = function () {var s = d.getElementsByTagName("script")[0]; s.parentNode.insertBefore(ts, s);};
          if (w.opera == "[object Opera]") { d.addEventListener("DOMContentLoaded", f, false); } else { f(); }
        })(document, window, "topmailru-code");
        </script><noscript><div>
        <img src="https://top-fwz1.mail.ru/counter?id=3163761;js=na" style="border:0;position:absolute;left:-9999px;" alt="Top.Mail.Ru" />
        </div></noscript>
        <!-- //Rating Mail.ru counter -->

        <body class="wrapper base-font">


<style>
        .navbar-options {
                display: flex;
                align-items: center;
                margin-left: auto;
                width: max-content;
        }
</style>

                        <header class="header">
                                <div class="topline clearfix">
                                        <div class="container clearfix">

                                                <div>
                                                        <a class="topline-link" href="http://ugatu.su/">
                                                                <img class="topline-logo" src='/static/images/logo-ugatu-brand-red-white.png'/>
                                                        </a>
                                                        <span class="topline-date">
                                                                <span>22 июля</span><br/>
                                                                <span>47 - я учебная неделя</span>
                                                        </span>
                                                </div>


                                                <button class="button small" id="MediumFontButton" type="button" style="display:none;" onclick="setMediumFont()">А</button>
                                                <button class="button small" id="LargeFontButton" type="button" style="display:none; font-size: 125%;" onclick="setLargeFont()">А</button>
                                                <button class="button small" id="HugeFontButton" type="button" style="display:none; font-size: 150%;" onclick="setHugeFont()">А</button>
                                                <button class="button small" id="InversionButton" type="button" style="display:none;" onclick="invertMonochrome()">инверсия цветов</button>
                                                <button class="button small" id="StandartVersionButton" type="button" style="display:none;" onclick="disableMonochrome()">обычная версия сайта</button>

                                                <div class="navbar-options">
                                                        <span class="header-menu__item op">
                                                    <img src="/static/images/cross.svg" title="Вызвать спецавто" alt="Вызвать спецавто">
                                                </span>
                                                        <a href="/logout" class="topline-logout">
                                                                <img class="topline-icon" src='/static/images/icon-logout-white.svg' title="Выйти из ЛК" alt="Выйти из ЛК"/>
                                                        </a>
                                                        <input class="topline-icon" id="MonochromeVersionButton" src='/static/images/icon-glasses-white.svg' title="Версия для слабовидящих" alt="Версия для слабовидящих" onclick="enableMonochrome()" type="image"/>
                                                </div>

                                        </div>
                                </div>
                        </header>
                        <nav class="main-nav">
                                <div class="container">
                                        <ul class="main-menu">
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-main.png'>
                                                                        <span class="menu-text centered-vertical">Главная</span>
                                                                </span>
                                                        </a>
                                                </li>




                                                <!--  -->

                                                <li class="menu-item">
                                                        <a class="menu-link" href="/raspisanie">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-timetable.png'>
                                                                        <span class="menu-text centered-vertical">Расписание</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/ref">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-certificate.png'>
                                                                        <span class="menu-text centered-vertical">Мои документы</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/ntb">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-library.png'>
                                                                        <span class="menu-text centered-vertical">Библиоресурсы</span>
                                                                </span>
                                                        </a>
                                                </li>

                                                <li class="menu-item">
                                                        <a class="menu-link" href="/addInformation">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-feedback.png'>
                                                                        <span class="menu-text centered-vertical smaller-font">Обратная связь</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/SendWork">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-portfolio.png'>
                                                                        <span class="menu-text centered-vertical">Портфолио</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/achievements">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-achievements.png'>
                                                                        <span class="menu-text centered-vertical">Достижения</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/Curriculum">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-curriculum.png'>
                                                                        <span class="menu-text centered-vertical">Учебный план</span>
                                                                </span>
                                                        </a>
                                                </li>
                                                <li class="menu-item">
                                                        <a class="menu-link" href="/SendMessage">
                                                                <span class="centered-vertical">
                                                                        <img class="menu-icon" src='/static/images/menu-messages.png'>
                                                                        <span class="menu-text centered-vertical">Сообщения</span>
                                                                </span>
                                                        </a>
                                                </li>




                                        </ul>
                                </div>
                        </nav>







                        <div class="health-help">

  <div class="close-form close-form_btn">
    <img src="/static/images/close.png" alt="">
  </div>



    <div class="b-call">
        <div class="b-call__header">
            <img src="/static/images/health-icon.png" alt="">
            <h2 style="text-transform: none;">Заявка на вызов спецавто</h2>
        </div>

        <p>Вы можете позвонить по номеру телефона:</p>
        <a href="tel:+79083504909" class="b-call__phone">8-908-35-04-909</a>
        <div class="btn-wrapper">
            <a href="tel:+79083504909" class="btn btn_red">
                Позвонить
            </a>
            <p>или <span class="open-b-ticket">заполнить форму ниже</span></p>
        </div>
    </div>

    <form method="POST" class="b-ticket">
        <input type="hidden" name="csrfmiddlewaretoken" value="pdklgkAfCDDOjDRIqpjrMFhAzDyZOIm4rEW4ufKvlMiYS53vP6TXIp9SuP5BciNh">

        <input type="text" name="full_name" placeholder="Введите ФИО" required id="id_full_name">
        <input type="text" name="phone_number" placeholder="Введите номер телефона" required id="id_phone_number">
        <textarea name="message" placeholder="Введите текст сообщения" required id="id_message">
</textarea>

        <label for="id_consent" class="agree" style="width: 100%;">
            <input type="checkbox" name="consent" class="required-check" id="id_consent">
            <span class="checkmark"></span>
            <p class="agree_anketa">
                Согласен на <a href="/user-agreement/" target="_blank">обработку пер�

Через консоль разработчика выяснил параметры для 1-го запроса:

Запрос 1 - параметры

Далее получаемый json ответ содержащий id и название группы:

Запрос 1 - результат

Далее для 2-го запроса нашел следующие параметры:

Запрос 2 - параметры

И получаемый json ответ:

Запрос 2 - результат

Помогите хотя бы советом, как мне реализовать парсинг json правильно. Я думал спарсить данные из html документа, но они не подгружаются.

Дополнение: Приведу фрагмент кода реализации SendMessage

function Filter(){
                $.ajax({
                    type: "POST",
                    url:"SendMessage",
                    dataType: "json",
                    async: true,
                    data:{
                        csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
                        faculty:$('#id_faculty').val(),
                        klass:$('#id_klass').val(),
                        MessageType:$('input[name="MessageType"]:checked').val(),
                    },
                    success: function (json){
                        $("#id_group").empty();
                        $("#id_user").empty();
                        $("#id_dep").empty();
                        if($('input[name="MessageType"]:checked').val()=="студенту"){
                            $("#id_group").prepend('<option value="">---------</option>');
                            $.each(json, function(i, item) {
                                $('#id_group').append('<option value = "'+item.id+'">'+item.mane+'</option>');
                            });
                        }else{
                            $("#id_dep").prepend('<option value="">---------</option>');
                            $.each(json, function(i, item) {
                                $('#id_dep').append('<option value = "'+item.id+'">'+item.mane+'</option>');
                        });
                        }
                    }
                });
            }
            function FilterReciever(){

                $.ajax({
                    type: "POST",
                    url:"SendMessage",
                    dataType: "json",
                    async: true,
                    data:{
                        csrfmiddlewaretoken: 'ntQYzVxGhBFKPU84dXNq1hnIbwQ21rOBCUPPGONy8NxS7A8CzUPcmJOwWGeRn1Zk',
                        faculty:$('#id_faculty').val(),
                        klass:$('#id_klass').val(),
                        group:$('#id_group').val(),
                        dep:$('#id_dep').val(),
                        MessageType:$('input[name="MessageType"]:checked').val(),
                        GroupOrUser:1,
                    },
                    success: function (json){
                        $("#id_user").empty();
                        $("#id_user").prepend('<option value="">---------</option>');
                        $.each(json, function(i, item) {
                            $('#id_user').append('<option value = "'+item.id+'">'+item.name+'</option>');
                        });
                    }
                });
            }
3
  • Из результата запроса json получается элементарно: r.json(), но где вы запрашиваете json-ы я так и не понял
    – CrazyElf
    22 июл 2021 в 18:00
  • Я пытался так сделать, но видимо ошибка в заголовке запроса. При попытке спарсить json, получаю html документ в формате json.
    – Jemale
    22 июл 2021 в 19:43
  • Исправил свой код, и сделал загрузку json
    – Jemale
    22 июл 2021 в 20:04

1 ответ 1

0

Внес исправления в заголовок при POST запросе:

import requests
from bs4 import BeautifulSoup
import requests
import fake_useragent
from requests.sessions import session
import json

url = 'https://lk.ugatu.su/'
url2 = 'https://lk.ugatu.su/SendMessage'


s = requests.Session()
user = fake_useragent.UserAgent().random
header = {
    'user-agent':user,
    'referer': url,
}

r = s.get(url)
csrf_token = r.cookies['csrftoken']

data = {
    'csrfmiddlewaretoken': csrf_token,
    'user_login': '******',
    'user_password': '*******',
}

d = s.post(url, data=data, headers=header)

r = s.get(url2)
header = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding':'gzip, deflate, br',
    'Accept-Language':'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
    'Connection': 'keep-alive',
    'Content-Length': '192',
    'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
    'referer': url2,
    'user-agent': user,
    'X-Requested-With':'XMLHttpRequest',
}
csrf_token = r.cookies['csrftoken']


data2 = {
    'csrfmiddlewaretoken': csrf_token,
    'faculty':'АВИЭТ',
    'klass':'3',
    'MessageType':'студенту',
}


dd = json.loads(s.post(url2, data=data2, headers=header).content)
print(dd)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.