18

Парсер с использованием Anglesharp.

Как парсить сайты с авторизацией?
Я пробую написать парсер.
Если я правильно понял теорию, то логика должна быть следующая:
- авторизация;
- получить куки;
Движение по страницам
- отправить куки;
- перейти на страницу_1;
- отправить куки;
- перейти на страницу_2;

Форма авторизации

<form name="login" class="ui large form" action="/login/" method="POST">
    <div class="required field ui grid aligned left"><input name="login[login]" value="" type="text" placeholder="Электронная почта" maxlength="64" autocomplete="off"></div>
    <div class="required field ui grid aligned left">
        <input name="login[password]" value="" type="password" maxlength="32" autocomplete="off" placeholder="Пароль">
    </div>
    <div class="equal width fields" style="flex-wrap:nowrap;">
        <div class="field" style="text-align: left;">
            <div class="ui checkbox large step">
                <input id="remember" type="checkbox" name="login[remember]" tabindex="0" value="1" class="hidden">
                <label for="remember">Запомнить меня</label>
            </div>
        </div>
        <div class="field" style="text-align: right;">
            <a href="/forgot/">Забыли пароль?</a>
        </div>
    </div>
    <div class="field">
        <button class="fluid positive ui button big">Войти</button>
    </div>
    <input name="login[type]" type="hidden"><input name="login[init]" type="hidden" value="">
</form>

Минимальный код

public async void Authorization(string pathPageLogin, string userName, string password)
{
    IConfiguration config = Configuration.Default.WithDefaultLoader().WithCookies();
    IBrowsingContext browsingContext = BrowsingContext.New(config);

    browsingContext.OpenAsync(pathPageLogin).Wait();


    (browsingContext.Active.QuerySelector("input[name = 'login[login]']") as IHtmlInputElement).Value = userName;
    (browsingContext.Active.QuerySelector("input[name = 'login[password]']") as IHtmlInputElement).Value = password;
    (browsingContext.Active.QuerySelector("form") as IHtmlFormElement).SubmitAsync().Wait();


}

public async void Parsing(string url, string pathFileHtml)
{
    HttpClient client = new HttpClient();
    var response = await client.GetAsync(url); // скачиваем страницу
    string source = await response.Content.ReadAsStringAsync(); // Переносим в переменную

    #region Сохранить страницу в файл
    File.WriteAllText(pathFileHtml, source);
    #endregion Сохранить страницу в файл

    #region Парсер
    // HTML парсер, который доступен из "AngleSharp".
    var domParser = new HtmlParser();

    // Спарсим асинхронно наш исходный код и получим документ с которым мы можем работать
     var document = await domParser.ParseAsync(source);

    // *** Парсер ****              
    // результат
    var list = new List<string>();

    var items = document.QuerySelectorAll("a").Where(item =>
                item.ClassName != null && item.ClassName.Contains("post__title_link"));

    foreach (var item in items)
    {
        list.Add(item.TextContent);
    }
    #endregion

}

Вопросы.
1. Правильно ли я понимаю логику?
2. Как сделать код с минимальным набором основных методов для простых сайтов, чтобы было видно принцип логики?

Дополнение
Для примера использовать: rabota.by/login/

Дополнение
Логин - [email protected]
Пароль - Ym3LDp1FPs

Дополнение

11
  • 1
    Советую вам проверить, есть ли у сайта API, куда он при авторизации отправляет запросы, куда он отправляет запросы при получение контента и так далее. Очень часто бывает, что разбирать HTML совсем не обязательно!
    – EvgeniyZ
    22 дек 2018 в 17:40
  • @EvgeniyZ Дополнил вопрос. Если у вас есть возможность, не могли бы вы привести примеры кода как для приведённого сайта это может выглядеть. Я пробовал: собрал логирование, пробую проверить, залогинился или нет. Не получается. Где в браузере смотреть POST запросы знаю, но что от туда брать не понимаю... Вроде только логин и пароль отправляет... Хотелось бы на примере кода посмотреть. А то я уже начитался, насмотрелся.... Пробую реализовать, не получается..
    – climivin
    22 дек 2018 в 17:52
  • 1
    @climivin Я вам ответом постарался рассказать как лучше поступить (правда пока не до конца), получите Cookie, получите полный доступ к ресурсу. К примеру вот такой набор данных я получил по POST запросу на адрес https://rabota.by/tradeslist/. Другими словами у сайта есть API и вам стоит научиться с ним работать.
    – EvgeniyZ
    23 дек 2018 в 1:15
  • 1
    @climivin Ну смотрите, раньше все сайты работали по принципу "пользователь зашел на страницу - сайт выдал дизайн с уже загруженными данными". Это не очень хорошо сказывалось на отзывчивости сайта, он был "топорным", постоянно обновлять страницу приходилось. Сейчас все современные сайты работают по принципу "пользователь зашел - загрузил дизайн без данных - часть нужных данных подгружается после, фоном". То есть сейчас идет разделение дизайна и данных сайта. Это позволяет сделать автоматическое обновление контента без перезагрузки страницы, сайт становится более отзывчивым и дружелюбным.
    – EvgeniyZ
    23 дек 2018 в 9:45
  • 1
    @climivin вот такие сайты создают себе источник данных, обычно это их внутренний API, о котором они не говорят, но мы же можем отловить эти запросы. Возьмем к примеру получение награды в игре. Пользователь видит кнопку и при клике на нее идет POST запрос допустим на адрес /api/getReward/ с помощью JS. Пользователю моментально, без обновления страницы, приходит уведомление об награде. Вот Вот при нажатие кнопки мы увидим в отладчике этот API запрос. Так что если сайт новый, то у него 80% есть API с которым и надо работать.
    – EvgeniyZ
    23 дек 2018 в 9:50

1 ответ 1

26

Анализируем.

Первым делом надо проанализировать сайт и понять как он работает. Я лично буду использовать Fiddler для отлова запросов, вы это можете делать там, где вам удобно...

И так, заходим на страницу авторизации, включаем отлов запросов, авторизуемся и смотрим на запросы.
Обычно они выглядят довольно заметно и идут на страницу вида /login или что то в этом духе.

После авторизации на сайте я поймал такой запрос: Result

Смотрим сам запрос:

POST /login/ HTTP/1.1
Host: rabota.by
Connection: keep-alive
Content-Length: 186
Cache-Control: max-age=0
Origin: https://rabota.by
Upgrade-Insecure-Requests: 1
DNT: 1
Content-Type: application/x-www-form-urlencoded
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36 Vivaldi/2.2.1388.37
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Referer: https://rabota.by/
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
Cookie: sessionRabota=4t8r5v068lb7g9alo3; _ga=GA1.2.20569718.1545649; _gid=GA1.2.202925.15449; _ym_uid=15595112; _ym_d=154552; _ym_isad=1; _ym_visorc_2318=w; 388c2c03bbed9f4661; captcha=4509285; captcha_md5=59bf907333254603af10; arp_scroll_position=0; *0=*0
  • Первым делом нас тут интересует тип запроса, у нас это POST на адрес /login/.
  • Далее смотрим на тип передаваемых данных Content-Type: application/x-www-form-urlencoded.
  • Также может пригодиться User-Agent и некоторые Cookie.

Так, как у нас запрос с данными веб формы, то также стоит посмотреть его тело:

login[login]    [email protected]
login[password] pass
login[remember] 1
submitButton    Войти
login[type] cad5afb6ed280bc4041d5689d561144a

Здесь все довольно понятно - наши логин, пароль, запоминать или нет, имя кнопки и неизвестный параметр с логина. Проверим этот неизвестный параметр, просто проделав авторизацию еще раз. Если он изменится, то стоит искать как он формируется, если нет, то можно использовать его. В моем случае он статичный.

Ну и еще стоит посмотреть сам ответ сервера, что он отдает и что он устанавливает:

Content-Type: text/html; charset=UTF-8
Set-Cookie: *0=%2A0; expires=Wed, 12-Dec-2018 19:21:31 GMT; Max-Age=-864000; path=/; domain=rabota.by
Set-Cookie: 666c9aea5601eb92b8=7df1b7318a82be0b068b; expires=Tue, 22-Jan-2019 19:21:32 GMT; Max-Age=2678400; path=/; httponly
Set-Cookie: d2c3f55839194555558=f33b13af8cfcd2d14c8650; expires=Tue, 22-Jan-2019 19:21:32 GMT; Max-Age=2678400; path=/; httponly

Видно, что в ответ сервер отдает нам обычный html и устанавливает пару Cookie. Тело ответа смотреть пока бессмысленно.


Пробуем отправить запрос сами.

Для этих целей отлично подходит Postman. Устанавливаем, пропускаем авторизацию (или нет) и создаем новый запрос.

  • Выбираем POST.
  • Указываем адрес запроса https://rabota.by/login
  • [вкладка Body] Указываем тип данных x-www-form-urlencoded
  • [вкладка Body] Заполняем все поля запроса
  • Пробуем отправить запрос.
  • Смотрим данные (HTML). И видим там, что простой отправки данных нам не достаточно, сайт не авторизует нас. Что то не хватает. Обычно это либо заголовок UserAgent или какой то уникальный, либо Cookie.
  • Пробуем добавить UserAgent - не подошел.
  • Пробуем подобрать Cookie - и тут видим, что сайт наконец нас пустил (в HTML видим свои данные).

Теперь очистим запрос:

  • Удаляем из Cookie по одному, пока не перестанет отправлять нам нужные данные. Я лично выяснил, что нужны всего одна Cookie - *0=*0.
  • [вкладка Body] Тут по такому же принципу, убираем все не нужное, убирая просто галки. Мои наблюдения показывают, что достаточно всего лишь login[login], login[password] и login[type].
  • [вкладка Headers] Убираем также лишние заголовки. На авторизацию влияют Content-Type и Referer.

Postman

5
  • 1
    Люблю я читать ваши ответы, прям подробные step-by-step туториалы для новичков.
    – A K
    22 дек 2018 в 22:03
  • @EvgeniyZ Дополнил вопрос. Добавил логин + пароль.
    – climivin
    22 дек 2018 в 22:22
  • @AK Спасибо, только пока продолжить не как не могу. Не получаются Cookie программно и все. Если найду решение, опубликую, нет, придется оставить так...
    – EvgeniyZ
    23 дек 2018 в 1:04
  • @EvgeniyZ, если бы использовался HttpClient - для сохранения кук нужно было бы передать CookieContainer, в anglesharp скорее всего за это отвечает какое-нибудь свойство
    – Grundy
    19 апр 2020 в 15:05
  • @Grundy Я задавал вопрос, хотел получить только нужные "печеньки", в HttpClient, увы, не смог, правда я не помню, пробовал ли я всю коллекцию использовать). AngleSharp я не пользуюсь, так что как там - не знаю.
    – EvgeniyZ
    19 апр 2020 в 17:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.