22

Допустим, имеется сайт на котором есть какое-то поле.

В это поле нужно послать какое-то значение, нажать на кнопку, затем получить новую страницу, где перейти по первой ссылке.

За этими мне нужно обращаться к классу WebBrowser?

Если можно, то покажите пример(например, можно взять целевой сайт google, но без использования его API.)

8
  • Нужно из приложения заполнять формы и переходить по ссылкам на страницах какого либо сайта?
    – LukavskyM
    22 дек 2016 в 17:09
  • @demol0cv, Да, именно так.
    – iluxa1810
    22 дек 2016 в 17:10
  • Уверены что необходимо из своего приложения это делать? Например в Firefox есть несколько весьма мощных дополнений для решения подобных задач, например Greasemonkey и iMacros.
    – LukavskyM
    22 дек 2016 в 17:11
  • @demol0cv, да, мне нужно потом все это распарсить.
    – iluxa1810
    22 дек 2016 в 17:12
  • Гугли в сторону headless browsers
    – IC_
    22 дек 2016 в 17:14

7 ответов 7

22
+100

Гуглим в консоле

Покажу на примере программы, которая позволяет гуглить прям в консоле (извлекает первые заглавные ссылки поиска на google.com):

Предварительные работы

Используйте CefSharp — библиотеку-оболочку, основанную на Chromium. Очень подробно её описал в этом ответе. Устанавливается просто через Nuget пакет.

Install-Package CefSharp.OffScreen -Version 57.0.0

Скопировав из приведенного мною ответа два класса (CefSharpWrapper и ConvertHelper), у вас уже готов скелет программы, с помощью которой вы можете исполнять любой JavaScript прямо из консольного приложения.


Также установите x64 или x86 в качестве платформы. Платформа Any CPU поддерживается, но требует дополнительного кода.

Дополнительные свойства и методы

Также для данной задачи добавьте в CefSharpWrapper свойство Address:

public string Address => _browser.Address;

и метод WaitTillAddressChanges:

public void WaitTillAddressChanges()
{
    // wait till address changes
    AutoResetEvent waitHandle = new AutoResetEvent(false);

    EventHandler<AddressChangedEventArgs> onAddressChanged = null;

    onAddressChanged = (sender, e) =>
    {
        _browser.AddressChanged -= onAddressChanged;

        waitHandle.Set();
    };

    _browser.AddressChanged += onAddressChanged;

    waitHandle.WaitOne();
}

Пример самой программы

Вот пример самой программы (класс Program, метод Main):

public class Program
{
    private static void Main()
    {
        MainAsync().Wait();
    }

    private static async Task MainAsync()
    {
        CefSharpWrapper wrapper = new CefSharpWrapper();

        wrapper.InitializeBrowser();

        Console.Write("Введите поисковой запрос: ");

        string searchText = Console.ReadLine();

        string[] urls = await wrapper.GetResultAfterPageLoad("https://google.com", async () =>
        {
            await wrapper.EvaluateJavascript(
// заполняем тесковое поле
$@"document.getElementById('lst-ib').value = '{searchText}';
// выполняем submit поисковой формы
document.getElementById('tsf').submit()");

            // Ждём когда перейдёт на результаты поиска
            wrapper.WaitTillAddressChanges();

            // Когда страница результатов поиска полностью подгрузится, излекаем результаты
            return await wrapper.GetResultAfterPageLoad(wrapper.Address, async () =>
                await wrapper.EvaluateJavascript<string[]>(
                    // получаем результаты
                    "Array.prototype.map.call(document.querySelectorAll('h3.r > a'), (a) => a.href);"));
        });

        Console.WriteLine("Первые ссылки поиска:");

        foreach (string url in urls)
        {
            Console.WriteLine(url);
        }

        wrapper.ShutdownBrowser();
    }
}

Результаты программы

К примеру, если я введу "parse html C#":

Результаты программы


AJAX

Также довольно удобно работать с AJAX c помощью с этой библиотеки.

3
  • Обновил программу. Добавил демонстрацию как можно гуглить прямо в консоле. 30 дек 2016 в 7:39
  • Кто минусует? Что не так? 30 дек 2016 в 21:12
  • 2
    Кто-то минусует, такое бывает, shit happens. Не беспокойтесь. :)
    – Nick Volynkin
    1 янв 2017 в 19:21
8

Если Вам надо закодить лишь какие-то определенные, известные части какого-то сайта - можно просто вытянуть нужные запросы, которые посылаются браузером (вычленить их можно в консоли разработчика браузера, обычно на вкладке Network) и посылать этот запрос в программе, например через HttpClient.

Если же изначально самих запросов Вы знать не можете (получать надо динамически в самой программе), то может 2 варианта событий:

  1. Если сайт может работать без использования ajax - парсить страничку на наличие тэга <form> и отталкиваться от него. В нем есть атрибут action в котором содержится путь и атрибут encoded, который указывает формат кодировки (если нет - по умолчанию "application/x-www-form-urlencoded", вроде бы, хотя точно лучше посмотреть через консоль разработчика). Все это собираете, в том числе и параметры внутри тэга <form>, отправляете через HttpClient и получаете ответ
  2. Если сайт работает только через ajax - тут уже сложнее и другого выхода кроме как вручную смотреть через Network какие запросы формируются и жетско их кодить я не вижу

Но в большинстве случаев хватает и обычной отправки заранее подготовленных (вычлененных) запросов со своими параметрами.

Так же можно привязать к HttpClientHttpClientHandler для хранения кукисов и других плюшек.

Например Вам надо добавить пост на стену в вк определенное время - алгоритм будет такой:

  1. Создать HttpClient с привязанным к нему HttpClientHandler'ом
  2. Отправить через него POST запрос на нужный адрес (посмотреть можно на странице вк в исходниках или вычленяем через консоль разработчика) со своими логином и паролем в качестве значений. Этот запрос вернет ответ, но в данном случае он не нужен, просто ждем пока придет HttpResponseMessage, чтоб нам пришли куки
  3. Отправить еще один POST запрос, который добавит сообщение на стену
2
  • в вк есть встроенный таймер для отложенных постов
    – mymedia
    4 июн 2017 в 7:12
  • Очень хороший ответ. Стоит лишь добавить, что если сайты используют капчи вроде гугловской ReCapcha. то здесь без вариантов нужны движки браузеров... 29 июн 2018 в 17:30
8

Нашел интересную либу Selenium с помощью которой, через драйвера можно взаимодействовать с реальным браузером. Довольная простая в управлении:

using OpenQA.Selenium;
using OpenQA.Selenium.Firefox;

// Requires reference to WebDriver.Support.dll
using OpenQA.Selenium.Support.UI;

class GoogleSuggest
{
    static void Main(string[] args)
    {
        // Create a new instance of the Firefox driver.
        // Note that it is wrapped in a using clause so that the browser is closed 
        // and the webdriver is disposed (even in the face of exceptions).

        // Also note that the remainder of the code relies on the interface, 
        // not the implementation.

        // Further note that other drivers (InternetExplorerDriver,
        // ChromeDriver, etc.) will require further configuration 
        // before this example will work. See the wiki pages for the
        // individual drivers at http://code.google.com/p/selenium/wiki
        // for further information.
        using (IWebDriver driver = new FirefoxDriver())
        {
            //Notice navigation is slightly different than the Java version
            //This is because 'get' is a keyword in C#
            driver.Navigate().GoToUrl("http://www.google.com/");

            // Find the text input element by its name
            IWebElement query = driver.FindElement(By.Name("q"));

            // Enter something to search for
            query.SendKeys("Cheese");

            // Now submit the form. WebDriver will find the form for us from the element
            query.Submit();

            // Google's search is rendered dynamically with JavaScript.
            // Wait for the page to load, timeout after 10 seconds
            var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10));
            wait.Until(d => d.Title.StartsWith("cheese", StringComparison.OrdinalIgnoreCase));

            // Should see: "Cheese - Google Search" (for an English locale)
            Console.WriteLine("Page title is: " + driver.Title);
        }
    }
}

Однако, все равно хотелось узнать, как можно сделать это стандартными средствами .NET.

4
  • 3
    В стандартном .NET нет встроенного браузера, тем более способного выполнять JS. Любое решение подразумевает внешний браузер - IE в виде WebBrowser Control, или какой-то другой при использовании селениума. Если не хотите чтобы при этом браузер реально открывался и показывался на экране - возьмите selenium + phantomjs
    – user177221
    24 дек 2016 в 21:35
  • @PashaPash, почему-то phantomjs у меня завалился на том, что проглотил Chrome.
    – iluxa1810
    24 дек 2016 в 23:30
  • @PashaPash У меня вопрос по поводу этого кода var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10)); wait.Until(d => d.Title.StartsWith("cheese", StringComparison.OrdinalIgnoreCase));. Я так понимаю он ждёт 10 секунд, пока страница не загрузится. Нет ли более изящного способа, чтобы не угадывать интервал? Чтобы это был метод, который ждёт сколько надо без указания интервала, или просто какое-то событие типа AddressChanged? 2 янв 2017 в 14:18
  • @VadimOvchinnikov, как я понял, по факту не нужно явно задавать ожидание. После теста на хроме, я заметил, что драйвер сам ждет пока загрузится страница и после этого выполняются следующие инструкции.
    – iluxa1810
    2 янв 2017 в 16:06
7

Все зависит от твоих потребностей и от сайта:

  • Используется ли на сайте AJAX
  • Есть ли там сложно-обходимые капчи вроде Re-Capcha
  • На сколько сложная последовательность действий нужна
  • На сколько важно быстродействие
  • На сколько будет загруженной страница(это может быть просто страница, а может быть бесконечная прокрутка)
  • Нужна ли кросплатформенность решения
  • Используются ли какие-то хитрые технологии на сайтах вроде CORS

В принципе если обобщить всю информацию поданную НИЖЕ и привести к максимально универсальному ответу:

а. если нужно самое быстрое "одноразовое" решение и скорость работы не важна -- значит Selenium

б. Если это задача по тестированию - Selenium

в. Если нужна универсальность решения и максимально простая поддержка на долгих периодах времени и не важно сколько займет кодинг:

  1. CefSharp для прохождения капчи/рекапчи (убрать пункт если таковой нет)
  2. вытянуть из CefSharp куки, всунуть их в дотнетовские куки
  3. а дальше взаимодействовать с сайтом через HttpWebRequest запросы

г. если нужно просто парсить данные - AngleSharp. Никаких htmlAgrilityPack.


Детальнее же про каждый из способов....


WebBrowser

Минуса

  • Очень бедное управление. Сложный в работе.
  • графический элемент, а значит будет жрать оперативу и работать медленно
  • не работает с бесконечными страницами
  • гипер кривая работа с JS. Некоторые сайты просто не отображаются. Устаревший инструмент.

Плюса

+? в теории -кросплатформенный, но не уверен.


Прямая работа через HttpWebRequest Post/Get запросы с последующим парсингом. Нужную последовательность можно узнать в консоли разработчика браузера, на вкладке Network. Желательно использовать НЕ низкоуровневые запросы а какие-то библиотеки для REST запросов. Будет быстрее значительно код писаться.

Минуса

  • если на сайте AJAX - работать так может быть сложно.
  • никак не пройти Re-Capcha. Может быть затруднительным прохождение капч в принципе.

Плюса

  • если сайт часто изменяется, реже будет ломаться код (фрондтенд менее стабилен чем бекенд, так что идеальное решение для взаимодействия с бекендом!)
  • Самое высокое быстродействие. Вы можете хоть тысячи страниц в паралели проганять.
  • Может работать с "бесконечными" страницами любого размера. [Хотя для этого нужно будет попотеть немного]
  • прекрасная кросплатформенность кода

Selenium - в общем и целом он предназначен именно для автоматизированного тестирования веб-сайтов. В том числе и с аджакс-технологией. То есть он может делать практически все действия, которые могут делать в браузере люди: находиль элементы интерфейса сайта, посылать в них нажатия кнопок, скролить, делать скриншоты, проверять на видимость/доступность и т.д. Т.к. указан C# тег, а так же было сказано про отсутствие лишних окон, нужно использовать связку: Selenium Web-Driver и PhantomJS. Фантом - это безюайный браузер на движке как у хрома. Он может все то же самое что и простой браузер, только не показывается визуально и не тратит ресурсы на отрисовку. Минуса

  • Он не ООПшный и довольно кривой в использовании
  • очень хреново работает с большими страницами
  • очень медленный
  • нужно использовать сторонние браузеры и в проэкт качать доп.библиотеки для поддержки нужного браузера
  • Не умеет работать с внешними окнами. Например с системным окном аутентификации на сервер (с версии 3.4 умеет). Или с окнами Open/Save file (для этого есть костыли а так же я написал полууниверсальное решение: https://github.com/ukushu/DialogCapabilities )

Плюсы

  • На нем вполне можно проходить ReCapcha. При помощи юзера, правда :)
  • Можно пройти и без юзера, если ипользовать аудиокапчу + распознавание текста с аудио через googleAPI. Например, вот здесь есть реализация прохождения рекапчи ботом, но на питоне: https://github.com/eastee/rebreakcaptcha/blob/master/rebreakcaptcha.py
  • Вполне может работать с AJAX. А если допилять костыли, то, даже, вполне неплохо работать.
  • Работает с посделовательностями действий любой сложности. В том числе всякие драг енд дропы.
  • Может запускатся на многих компьютерах в паралели

Не уверен

? понятия не имею по поводу кросплатформенности


Оболочки вокруг готового движка вроде Хромиума. За пример - CefSharp.

Минуса

  • хреново работает с большими/бесконечными страницами
  • относительно медленный
  • нужно качать несколько библиотек
  • многий функционал доступный с коробки в селениуме нужно будет реализовывать самому через JS код.

Плюса

  • На нем вполне можно проходить ReCapcha. При помощи юзера, правда :)
  • работает с AJAX
  • Работает с посделовательностями действий любой сложности
  • Умеет работать с внешними окнами. Например с системным окном аутентификации на сервер.

Не уверен:

? понятия не имею по поводу кросплатформенности. Скорее всего есть


AngleSharp - прекрасная штука, но заточенная исключительно под парсинг. Со своими задачами справляется на ура.

5

Уточните каким образом происходит обработка введенного текста в поле на сайте? Сайт отправляет его GET/POST или обрабатывает иначе?

Приведу ход своих мыслей на примере googl'a и GET.. Зачем нам эмулировать действия пользователя на сайте если мы напрямую можем работать с отправлением запроса, получением результата и дальнейшим парсингом

string query_user = Console.ReadLine();
string url = "https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&q=" + query_user;
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

И дальше извлекаем из переменной response все что необходимо

6
  • Можно конечно curl .. | grep ... юзать из консоли и всё. Но это костыльно - т.е. будет ломаться если чуть-чуть изменится сайт которым пытаются управлять. И совершенно не прокатит если требуется человекоподобная эмуляция - например если требуется, чтобы сайт не мог отличить робота от человека. Также это не применимо, если эмулятор нужен для авто-тестирования UI сайта. 30 дек 2016 в 0:20
  • @ГончаровАлександр для автотестов UI есть целые фреймворки вроде Selenium, там не нужно изобретать ничего.
    – Nick Volynkin
    1 янв 2017 в 19:22
  • @Nick Volynkin, Селениум - это лишь библиотека для управления браузером из разных приложений, конечно можно с ней писать тесты. Но зачем управлять браузером откуда-то, если это можно делать изнутри. В селениуме есть конечно рекордер, уменьшающий время для написания простых тестов - но сложные последовательные манипуляции им не сделаешь. 4 янв 2017 в 1:48
  • Эмулирование действий пользователя нужно в случаях, когда через запросы ты что-то сделать не можешь. Например, пройти капчу гугловскую :) 29 июн 2018 в 17:37
  • @ГончаровАлександр судя по написанному, ты знаешь только SeleniumIDE . На практике под Селениумом в основном имеется ввиду Selenium WebDriver, с помощью которого, как раз таки, и пишутся сложные последовательные манипуляции. Конечно, он, в свою очередь, обрамляется в специальный фреймворк-враппер написанный под конкретный сайт. 29 июн 2018 в 17:40
3

В заголовке вопроса - консольное приложение. Но, могу предположить по тексту

В это поле нужно послать какое-то значение, нажать на кнопку, затем получить новую страницу, где перейти по первой ссылке.

возможно вам подойдёт эмуляция действий пользователя в браузере. Про эмуляцию в браузере:

Очень точная эмуляция действий пользователя делается с помощью написания собственного расширения для браузера (Firefox/GoogleChrome например) - от настоящего пользователя не отличить. Плагин может полностью перехватывать управление - например открыть вкладку с определённым сайтом, и "захватить" её.

Внутри плагина разрабатывается некая сущность, которая может эмулировать движение и клики мышки от объекта к объекту: сами объекты с чужого сайта выбираются, например, простым jQuery - так-же как и в коде любого сайта. Также сущности нужно добавить возможность эмулировать ввод текста в любое поле.

Эмуляция может происходить посылкой trusted DOM событий (это код внути плагинов умеет), или можно напрямую использовать WinApi и его PostMessageW (по крайней мере аддоны фаерфокса умеют подключать любую dll и юзать её затем из JS) - железобетонный способ. В общем технически такой эмулятор от пользователя не отличить.

Под подобную деятельность заточен известный аддон Greasemonkey . Но если масштабы эмуляции планируются большими (политика добавления определённых скриптов к определённым страницам недостаточна) - не рекомендовал бы, ибо его логики не хватит.

Если нужно к эмуляции добавить ещё и управление браузером из консоли, используйте selenium. Это не прокатит, если вы хотите чтобы это всё работало со стандартного сервера - то есть без GUI. Но по своей практике скажу - использовали эмуляторы часто, для них у нас были отдельные сервера с виндой, с GUI. Без GUI, с голой консолью, есть мнение что качественно эмулировать не выйдет..

Классическое использование таких эмуляторов - боты-парсеры, боты-спамеры, боты-игровые, авто-тестирование собственного сайта.

0

WatiN.

WatiN Features

  • Automate all major HTML elements with ease
  • Find elements by multiple attributes
  • Native support for Page and Control model
  • Supports AJAX website testing
  • Supports creating screenshots of webpages
  • Supports frames (cross domain) and iframes
  • Handles popup dialogs like alert, confirm, login etc..
  • Supports HTML dialogs (modal and modeless)
  • Easy to integrate with your favorit (unit) test tool
  • Works with Internet Explorer 6, 7, 8, 9 and FireFox 2 and 3
  • Can be used with any .Net Language
  • Licensed under the Apache License 2.0
  • Downloaded more than 120.000 times
  • And since its open source you can add and contribute new features yourself

Пример:

[Test] 
public void SearchForWatiNOnGoogle()
{
  using (var browser = new IE("http://www.google.com"))
  {
    browser.TextField(Find.ByName("q")).TypeText("WatiN");
    browser.Button(Find.ByName("btnG")).Click();
  
    Assert.IsTrue(browser.ContainsText("WatiN"));
  }
}
2
  • Nuget last updated 4/12/2011... И офсайт не работает... Чет как-то так себе поддержка у него) 29 ноя 2020 в 11:58
  • @Andrew да и ответу уже почти 4 года ;)
    – Anatol
    29 ноя 2020 в 14:20

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.