0

Всем привет!

Мне необходимо спарсить цены за определенное количество дней данного предмета - https://steamcommunity.com/market/listings/730/Snakebite%20Case (снизу график, о нём идет речь). Открыв код страницы, внизу я нашел длинный массив var line1, который как раз содержит в себе нужную мне информацию.

Для парсинга использую C# и Selenium, но, как правильно составить запрос для поиска данного var line1 - не представляю, т.к. здесь нет ни имени класса, ни тега, ни селектора и т.д.

Подскажите, как можно его спарсить ? Или, есть более простое решение моей задачи, может я чего-то проглядел ?

1
  • 2
    1. Selenium != парсинг, Selenium == тестирование. Вы тестируете Steam сайт? Нет. Тогда для чего вам Selenium? 2. У Steam есть API, что мешает использовать его? Вот вам запрос, выдаст цены в рублях (currency=5) в виде JSON. Единственное, нужна cookie steamLogin, которую выдают после авторизации.
    – EvgeniyZ
    12 мая 2021 в 13:17

1 ответ 1

2

Парсить это селениумом это как из гранатомета по воробьям. Есть способ проще. Решаю прямо в лоб не вникая в детали, вы просили способ выдрать данные из HTML - выдираю данные.

Так как нужная вам строка находится внутри яваскрипта, то HTML апрсер не поможет ее достать. Все что может здесь HTML парсер - это выдернуть <script> ноду и дать вам ее содержимое. Но ноду все равно придется разбирать как строку. Поэтому я сразу решил обработать весь HTML как строку.

Создаем контейнер для данных

class DataItem
{
    public DateTime Date { get; set; }
    public double Value { get; set; }
    public string Id { get; set; }

    public override string ToString()
    {
        return $"{Date} {Value} {Id}";
    }
}

И пишем вот такой простой код

class Program
{
    private static readonly HttpClient client = new HttpClient();

    static async Task Main(string[] args)
    {
        string url = "https://steamcommunity.com/market/listings/730/Snakebite%20Case";
        string html = await client.GetStringAsync(url);
        string tmp = html.Substring(html.IndexOf("var line1=") + 10); // отпиливаем голову
        string json = tmp.Remove(tmp.IndexOf(";\r\n")); // отпиливаем хвост
        DataItem[] items = JsonSerializer.Deserialize<JsonElement[][]>(json) // парсим этот кривой json
            .Select(o => new DataItem { Date = DateTime.Parse(o[0].GetString().Replace(":", ":00")), Value = o[1].GetDouble(), Id = o[2].GetString() }).ToArray();

        foreach (DataItem item in items) // выводим данные
            Console.WriteLine(item);

        Console.ReadKey();
    }
}

Вывод в консоль

04.05.2021 2:00:00 19,998 722
04.05.2021 3:00:00 15,107 2621
04.05.2021 4:00:00 14,391 2952
04.05.2021 5:00:00 13,61 2532
04.05.2021 6:00:00 12,19 2493
04.05.2021 7:00:00 13,43 2243
04.05.2021 8:00:00 13,438 1853
04.05.2021 9:00:00 13,799 1873
04.05.2021 10:00:00 13,08 2136
04.05.2021 11:00:00 10,758 2987
04.05.2021 12:00:00 10,611 3656
04.05.2021 13:00:00 9,282 3883
04.05.2021 14:00:00 9,156 4003
04.05.2021 15:00:00 8,576 4240
...
4
  • Большое спасибо) Однако, не могу понять, почему не верно передаётся цена продаж ? То, что мы передаём в double
    – SPRVII
    12 мая 2021 в 18:53
  • @SPRVII как вы определили, что неверно, быть может валюта не та, которую вы ожидали? У меня вроде на баксы похоже.
    – aepot
    12 мая 2021 в 19:02
  • @SPRVII если ответ был полезен, вы можете отметить его принятым, галочка слева от ответа.
    – aepot
    12 мая 2021 в 19:04
  • 1
    и правда, я не учел валюту)) Привык, что у меня она в рублях
    – SPRVII
    12 мая 2021 в 19:06

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.