1

[![введите сюда описание изображения][1]][1]У меня есть на сайте кучу div которые имеют аттрибут data-href. Мне нужно взять именно эти div и вытянуть с них значение аттрибута. Как ни пробовал, он не видит их, вот мой код:

var all_web = document.QuerySelectorAll("div[data-href]");
foreach (var el_web in all_web)
            {Console.WriteLine(el_web.GetAttribute("data-href").ToString());}

и через Where

var all_web = document.QuerySelectorAll("div").Where(x=>x.HasAttribute("data-href"));
foreach (var el_web in all_web)
            {Console.WriteLine(el_web.GetAttribute("data-href").ToString());}

div селектор самого сайта:

<div data-href="//aliexpress.ru/item/*******.html.../div>

Я беру html с помощью httpclient, и дальше по стандарту

string allhtml = await client.GetStringAsync("https://aliexpress.ru/......./");
 var config = Configuration.Default.WithDefaultLoader().WithCss(); 
var context = BrowsingContext.New(config); //description item_table-description  
IDocument document = await context.OpenAsync(req => req.Content(allhtml))


  [1]: https://i.stack.imgur.com/3gpQP.png
3
  • Это возможно посредством рекурсивного поиска по нодам. Еще вроде плагины есть, которые позволяют выполнять что-то типа jQuery запросов. Почему не работает QuerySelector - пока не понятно, но я им не пользовался.
    – aepot
    19 апр 2020 в 17:09
  • Покажите, как вы загружаете строку в документ.
    – aepot
    19 апр 2020 в 17:12
  • Я имею в виду не строку текста, а тип данных string. Добавьте этот код в вопрос, пожалуйста.
    – aepot
    19 апр 2020 в 17:26

1 ответ 1

0

Проанализировав страницу по вашей ссылке, я не увидел ни одного тега div с требуемым аттрибутом data-href.

Я использовал:

  • HtmlAgilityPack 1.11.23
  • Fizzler.Systems.HtmlAgilityPack 1.2.1

Попробовал выдачу для a[data-href], всё заработало.

public static void Main(string[] args)
{
    HttpClient client = new HttpClient();
    string page = client.GetStringAsync("https://aliexpress.ru/store/<censored>").GetAwaiter().GetResult();
    HtmlDocument html = new HtmlDocument();
    html.LoadHtml(page);
    HtmlNode document = html.DocumentNode;
    IEnumerable<HtmlNode> nodes = document.QuerySelectorAll("a[data-href]");
    foreach (HtmlNode el_web in nodes)
    { 
        Console.WriteLine(el_web.Attributes["data-href"].Value); 
    }
    Console.ReadKey();
}

(Простите, не стал заморачиваться с асинхронностью)

Возможно, вы не видите нужных тегов потому, что их рендерит в обычном браузере JavaScript. Поэтому получить их напрямую не получится. Нужно проанализировать, куда еще браузер шлет запрос, и из какого именно ответа прилетают нужные вам данные. Брать эти правила и пробовать по ним слать запросы на алик и парсить данные, оттуда полученные.

8
  • Я прикрепил скриншот, где div с data-href
    – Prince Tag
    19 апр 2020 в 18:25
  • @PrinceTag здесь видимо другая проблема, эти divы приезжают не в основном коде страницы, а в ajax запросе от яваскрпта, сейчас попробую найти, откуда.
    – aepot
    19 апр 2020 в 18:33
  • @PrinceTag да, все верно, они приезжают в jsonp ответе из API, ведь это вам надо? То есть, из айдишника страницы можно сгенерить подобный запрос, ответ прилетит в jsonp формате, из него можно достать json и распарсить как json.
    – aepot
    19 апр 2020 в 18:39
  • 1
    @PrinceTag я добавли рекомендации в ответ. Если он вас устраивает, прошу его принять. Если же появился другой вопрос, создайте его отдельно на StackOverflow.
    – aepot
    19 апр 2020 в 18:53
  • 1
    Все, я понял про что вы, тут get запрос, который возвращает json. Спасибо за ответ)
    – Prince Tag
    19 апр 2020 в 21:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.