1

Пытаюсь достать html сайта(https://site.com/../page.html?lang=en), чтобы считать данные. Структура примерно такая:

<div class="class1">
      <div class="1.2">
<div class="class2">
      <div class="2.2">
          <div> **1 JUNE**</div>
<div class="class3">
      <div class="3.2">

Написал функцию:

private static string GetHtml(string url)
{
    try
    {
        var req = (HttpWebRequest)WebRequest.Create(url);
        req.AllowAutoRedirect = false;
        req.Method = "GET";
        req.UseDefaultCredentials = true;
        req.Proxy.Credentials = System.Net.CredentialCache.DefaultCredentials;
        req.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36";
        req.Referer = "https://www.google.com/";
        using (StreamReader reader = new StreamReader(req.GetResponse().GetResponseStream()))
        {
            return reader.ReadToEnd();
        }
    }
    catch (Exception ex)
    {
        return ex.Message;
    }
}

Но проблема в том, что возвращается лишь шаблон сайта, безо всяких данных, например, как в данном случае вместо

<div> **1 JUNE**</div>

получается что-то вроде:

<div> {{product.Date | date:'dd'}} {{AD.Resource(product.Date | date:'MMM')}} {{product.Date | date:'HH:mm'}}</div>

Однако, если скачиваю через "Скачать как", используя хром, загружаются данные, а не шаблон.

2
  • А сайт тайный? А то мог бы глянуть что да как отправляет. Ну а так, проблема заключается в том, что данные на сайте генерируются через JS. Собственно вам нужно либо брать их с того места, от куда берет их сайт, либо кардинальные меры - использовать компонент браузера (к примеру Cef), который умеет обрабатывать JS скрипты и после полной загрузки уже брать код страницы.
    – EvgeniyZ
    2 мая 2018 в 13:02
  • Буквально недавно отвечал на что то подобное. В вашем случае все данные находятся по этому пути и в обычном JSON формате. У вас даже все еще легче и достаточно запросить данные (без тела запроса и cookie)
    – EvgeniyZ
    2 мая 2018 в 13:20

2 ответа 2

0

Браузер при загрузке страницы выполняет javascript код и вместо шаблонов подставляет нужные данные. Вам нужен компонент, который сможет повторить эти действия (что-то вроде движка броузера). Знаю что в дот нете есть компонент WebBrowser, но это самый банальный вариант.

2
  • ну или Selenium ) 2 мая 2018 в 15:16
  • Можете почитать мои комментарии к вопросу и внести в ответ. Ну а так, для работы с 90% сайтами - самый оптимальный вариант, это найти место самих данных, от куда их получает сам сайт и отправлять запрос туда. А вот всякие браузерные компоненты - это лишнее и в редких случаях надо применять, но к сожалению в наше время все умеют работать только с этими компонентами и делают кучу лишнего.
    – EvgeniyZ
    2 мая 2018 в 15:59
0

Самое простое использовать Selenium WebDriver

Install-Package Selenium.WebDriver

Install-Package Selenium.WebDriver.ChromeDriver

var path = Path.GetDirectoryName(Assembly.GetEntryAssembly().Location);
var driver = new ChromeDriver(path);
driver.Navigate().GoToUrl($"https://site.com/../page.html?lang=en");
var myData = driver.FindElement(By.CssSelector(@".class2 > .2\.2 > div")).Text;

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.