0

Необходимо парсить страницу с использованием HtmlAgilityPack, но некоторые нужные поля загружаются из JS. Как загрузить страницу полностью после выполнения всех скриптов? К примеру, вот этот код получает данные которые есть в HTML без JS:

 public string GetNumberOrders(string URL)
    {
        string result = "";
        HtmlAgilityPack.HtmlDocument doc = new HtmlWeb().Load(URL);
        doc.OptionFixNestedTags = true;
        HtmlNode node = doc.DocumentNode.SelectSingleNode("//*[@id='j-order-num']");
        result += node.InnerHtml;
        return result;
    }

А вот так я пытаюсь вытянуть страницу с выполненным JS:

web1.ObjectForScripting = new MyScript();
        web1.ScriptErrorsSuppressed = true;
        web1.Navigate(URL);
        waitTillLoad(web1);
        web1.Document.InvokeScript("some_func");

        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        var documentAsIHtmlDocument3 = (mshtml.IHTMLDocument3)web1.Document.DomDocument;
        StringReader sr = new StringReader(documentAsIHtmlDocument3.documentElement.outerHTML);
        doc.Load(sr);
        result = doc.DocumentNode.OuterHtml;

Поскольку названия функций неизвестны, их не получается выполнить через Document.InvokeScript(). Как выполнить все функции не используя InvokeScript?

UPD Решено:

        webControl1.Source = new Uri(URL);
        while(webControl1.IsLoading)
        {
            Application.DoEvents();
        }
        return webControl1.ExecuteJavascriptWithResult("document.documentElement.outerHTML").ToString();
2
  • Максим Чистогов ваше решение не будет корректно загружать большинство ресурсов с JS и Ajax, включив просто ожидание загрузки циклом. 5 мая 2018 в 14:01
  • Настоятельно советую ознакомится с текстом по ссылке: ru.stackoverflow.com/a/609646/186752 24 авг 2021 в 17:14

2 ответа 2

1

Сам долго мучался используя стандартный webbrowser и парсеры типа HtmlAgilityPack. Советую выполнять через webdriver от selenium, в нем есть driver PhantomJS, позволяющий работать в фоне без лишних окон и с полной поддержкой javascript.

IWebDriver Driver=new PhantomJSDriver();
0
1

Использование Selenium PhantomJS без дополнительных окон в фоновом режиме.

        private string GetHtml(string url)
        {
            var driverService = PhantomJSDriverService.CreateDefaultService();
                driverService.HideCommandPromptWindow = true;
                var Driver = new PhantomJSDriver(driverService);
                Driver.Navigate().GoToUrl(url);
                string html = Driver.PageSource;
                Driver.Quit();
                return html;
        }

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.