0

Есть файлы в формате JSON. В их храниться информация о пользователях и их показателях за каждый день. Мне нужно эти показатели считать. Но проблема в том, что каждый день это отдельный файл. Как с этим быть?

вот класс:

    class DataJson
{
    public int Rank { get; set; }
    public string User { get; set; }
    public string Status { get; set; }
    public int Steps { get; set; }

}

введите сюда описание изображения

            System.Net.WebClient wc = new System.Net.WebClient();
        String response = Encoding.UTF8.GetString(wc.DownloadData($"http://slova.by/JSON_test/Files/day1.json"));

        var obj = JsonConvert.DeserializeObject<DataJson[]>(response);
7
  • Покажите пожалуйста ваш код, как вы читаете сейчас? Еще покажите структуру JSON файла, сейчас видно только фрагмент, вы можете вставить JSON текстом в впорос, а не скриншотом, убрать реальные имена, и оставить например в массиве JSON [ ... ] 2-3 элемента. Еще скажите, .NET Framework у вас, или .NET Core?
    – aepot
    Commented 3 июл. 2020 в 8:31
  • Добавил код и ссылку на JSON файл Commented 3 июл. 2020 в 10:13
  • .NET Framework или .NET Core? Покажите класс DataJson. От этого зависит качество ответа. Пока видно только что вы используете WebClient, который согласно документации не рекомендуется использовать.
    – aepot
    Commented 3 июл. 2020 в 11:25
  • По структуре разных JSON файлов видно, что данные не следует смешивать в один массив, так как имена и фамилии могут повторяться, или что именно вам нужно сделать с данными, какую задачу вы хотите решить? От этого зависит конечное представление данных, то есть то, как будет выглядеть сам класс, хранящий загруженные данные
    – aepot
    Commented 3 июл. 2020 в 11:33
  • 1
    Программа должна строить график пройденных шагов выбранного из списка пользователя за 30 дней. Commented 3 июл. 2020 в 13:23

3 ответа 3

2

Как объединить данные вам уже ответили, я сейчас покажу лишь как поступил бы я на вашем месте и почему.

Загрузка данных

Вам уже пояснили другим ответом, что WebClient использовать сейчас, для новых разработок плохо, научитесь пользоваться HttpClient. Также стоит учесть тот факт, что данные вам попросту не нужны на компьютере, а если и нужны, то сохраняйте наверно уже "слепок" того, что получили после объединения.

Давайте сделаем некий метод, который будет отдавать нам каждого человека, которого мы можем обработать так, как нам захочется. И тут нам на помощь приходят нововведения, а именно Асинхронные стримы, которые в C#8 позволяют получать данные по мере поступления, а не пачками.

  1. Сделаем класс, который будет содержать в себе данные одного файла с сервера, вы его уже сделали, я просто переделал под нужды этого проекта, а также запретил менять данные из вне (ведь нам не надо, чтобы в момент разработки мы случайно начали менять данные, полученные с сервера, верно?)

     class ServerData
     {
         public string User { get; }
         public int Steps { get; }
         public int Day { get; private set; }
         public void SetDay(int day) => Day = day;
    
         public ServerData(string user, int steps)
             => (User, Steps) = (user, steps);
     }
    

    Day тут служит неким идентификатором дня, когда пользователь сделал те самые шаги, ибо как оказалось не все пользователи начинали отчет с самого начала. Также вы спросите, а где статус и ранг? Ну в статусе я не вижу смысла, ибо он всегда один, а ранг дам простой подсчет кто сделал больше шагов, а это мы можем сделать сами.

  2. Теперь сам метод получения, он будет примерно таким:

     private readonly HttpClient httpClient = new HttpClient();
    
     private async IAsyncEnumerable<ServerData> GetDataAsync()
     {
         int count = 1;
         while (true)
         {
             string data;
    
             try
             {
                 data = await httpClient.GetStringAsync($"http://slova.by/JSON_test/Files/day{count}.json");
             }
             catch (HttpRequestException e) when (e.Message.Contains("404"))
             {
                 Debug.WriteLine("Файла нет на сервере");
                 break;
             }
             catch (Exception e)
             {
                 Debug.WriteLine(e.Message);
                 break;
             }
    
             var result = JsonConvert.DeserializeObject<ServerData[]>(data);
    
             foreach (var item in result)
             {
                 item.SetDay(count);
                 yield return item;
             }
    
             count++;
         }
     }
    

    Здесь по сути все просто, мы в бесконечном цикле берем данные до тех пор, пока сервер не выдаст ошибку (для примера я обработал 404 и все остальные, тут смотрите сами как поступить). В цикле мы пробуем получить ответ от сервера в виде string и если он успешный, то мы десериализуем это в массив ServerData, который в последующем перебираем (задав нужную дату файла) и отдаем наружу. Ну и в конце счетчик прибавляем.

Разбираем данные

Имея код выше мы можем теперь составить коллекцию всех пользователей в удобном нам виде, который позволит удобно просматривать и сортировать данные.

  1. Создадим класс одного человека. В него мы поместим ФИО, а также коллекцию пройденных шагов и в какой день. Каждый шаг пусть будет отдельным классом.

     class DaySteps
     {
         public int Day { get; }
         public int Steps { get; }
         public DaySteps(int day, int steps) => (Day, Steps) = (day, steps);
     }
    
     class User
     {
         public string Name { get; }
         public List<DaySteps> Steps { get; }
         public User(string name) => (Name, Steps) = (name, new List<DaySteps>());
         public bool HasADay(int day) => Steps.Any(x => x.Day == day);
     }
    

    HasADay - это предикат, который вернет true, если пользователь вел учет шагов в указанный день.

  2. Берем теперь данные с сервера и формируем коллекцию людей:

     private List<User> Users { get; } = new List<User>();
     public async Task<UsersManager> LoadDataAsync()
     {
         await foreach (var data in GetDataAsync())
         {
             if (!Users.Any(x => x.Name == data.User))
             {
                 var user = new User(data.User);
                 user.Steps.Add(new DaySteps(data.Day, data.Steps));
                 Users.Add(user);
             }
             else
             {
                 var user = Users.FirstOrDefault(x => x.Name == data.User);
                 user.Steps.Add(new DaySteps(data.Day, data.Steps));
             }
         }
    
         return this;
     }
    

    Тут я думаю все предельно просто: есть человек - ищем, добавляем новый день с новыми шагами. Нету - добавляем. Единственное что может смутить, так это return this, так вот, я это сделал для удобства, чтобы потом можно было использовать так называемый "цепочный вызов".

Все, теперь у нас есть коллекция с объединенными данными по всем пользователям (как вы и просили).

Работа с данными

Теперь мы сами хозяева данных и в праве сами с ними как угодно распоряжаться, пару примеров:

  • Сериализуем в один JSON:

    public void ToJSON(string file) 
          => File.WriteAllText(file, JsonConvert.SerializeObject(Users, Formatting.Indented));
    
  • Выводи рейтинг за указанный день (прям как на сайте):

    public UsersManager PrintTop(int day)
    {
        Console.WriteLine($"--- Рейтинг за {day} день ---");
        var users = Users.Where(x => x.HasADay(day))
            .Select(x => (x.Name, x.Steps.FirstOrDefault(s => s.Day == day).Steps))
            .OrderByDescending(x => x.Steps)
            .ToList();
    
        for (int i = 0; i < users.Count; i++)
        {
            var user = users[i];
            Console.WriteLine($"[{i + 1}] {user.Name}: {user.Steps}");
        }
    
        return this;
    }
    

Ну и так далее, примеров может быть много. Вызов этого всего будет тогда такой:

var manager = new UsersManager();
(await manager.LoadDataAsync()).PrintTop(15).ToJSON("Data.json");

Что даст нам файл JSON с полностью объединенными данными и выведет в консоль топ

TopUsers

Как видите, если взять чуть больше и сделать некий комбайн (я это вовсе делал на коленке, да криво), получится весьма годный источник данных с которым удобно будет работать, так что удачи в изучении C#!

P.S. Не гнался за решением конкретно поставленной задачи, хотел лишь показать как можно поступить.

3
  • 1
    Была б моя воля, я б на каждый вопрос на восьмом шарпе отвечал. :) Очень хороший пример по IAsyncEnumerable.
    – aepot
    Commented 3 июл. 2020 в 21:30
  • 1
    Кстати, JsonConvert я бы тоже в try засунул.
    – aepot
    Commented 3 июл. 2020 в 21:35
  • 1
    @aepot Тоже верно, но это пусть будет на совести автора.
    – EvgeniyZ
    Commented 3 июл. 2020 в 21:37
1

Для начала предлагаю использовать HttpClient вместо WebClient, хотя-бы потому что здесь указано, что:

Не рекомендуется использовать класс WebClient для новой разработки. Вместо этого используйте класс System.Net.Http.HttpClient.

Вторая причина - у HttpClient толковое современное асинхронное API.

  1. Создайте HttpClient отдельно, потому что

HttpClient is intended to be instantiated once per application, rather than per-use.

private static readonly HttpClient client = new HttpClient();
  1. Реализуйте метод загрузки
private async Task<List<JsonData>> LoadJsonDataAsync(url)
{
    using (HttpResponseMessage response = await client.GetAsync(url, HttpCompletionOption.ResponseHeadersRead).ConfigureAwait(false))
    {
        response.EnsureSuccessStatusCode();
        string responseText = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
        return JsonConvert.DeserializeObject<List<JsonData>>(responseText);
    }
}
  1. Грузите
private async Task LoadAllDataAsync()
{
    Dictionary<string, List<JsonData>> data = new Dictionary<string, List<JsonData>>();

    try
    {
        for (int i = 1; i < 31; i++);
        {
            string fileName = $"day{i}.json";
            data.Add(fileName, await LoadJsonDataAsync($"http://slova.by/JSON_test/Files/{fileName}"));
        }
    }
    catch (Exception ex)
    {
        // Обработайте здесь вероятное исключение.
    }

    foreach (KeyValuePair<string, List<JsonData>> pair in data)
    {
        // здесь можно что-то с данными сделать, pair.Key - имя файла, pair.Value - список
    } 
}

Подробнее про асинхронное программирование можно почитать здесь или здесь

0

Для случая локального хранения файлов.

using System.Linq;

DirectoryInfo info = new DirectoryInfo("PATH_TO_DIRECTORY_HERE");
FileInfo[] files = info.GetFiles().OrderBy(p => p.CreationTime).ToArray();
foreach (FileInfo file in files)
{
    // DO Something...
}

если у Вас удаленный репозиторий то нужно сначала синхронизировать каталоги (локальный, удаленный) и сделать как код выше но уже делать сортировку по имени .OrderBy(p => p.FileName) или как вам удобно

Обновлено. А вообще держите данные по клиенту также как и есть и тогда очерёдность будет определяться так как вы хотите.

для каждого файла

  1. считываете файл
  2. парсите данные
  3. для каждой записи в файле добавить/обновить информацию за считанный день (ключ) по клиенту в общий список.

AllUserData = { User1: { day1: DataJson, day2: DataJson, ... dayn: DataJson, }

, ......

UserK: { day2: DataJson, ... dayj: DataJson, } ..... }

12
  • Очевидно, ваш ответ не подходит для автора вопроса.
    – aepot
    Commented 3 июл. 2020 в 11:22
  • Ну какой вопрос, бывает и такое как не странно. Я ответил как понял, решать автору что делать. Если изменять вопрос каждые несколько минут то что говорить об ответе который был дан час назад. Commented 3 июл. 2020 в 11:51
  • Я не спорю, но когда вас хаказчик просит накодить фичу, вы тоже делаете реализацию "как поняли", или все-таки задаете уточняющие вопросы?
    – aepot
    Commented 3 июл. 2020 в 12:07
  • Да, но я не имею привычки указывать заказчику что делать. Commented 3 июл. 2020 в 12:09
  • 1
    А что изначально было не понятно в вопросе? Вполне понятная задача, которая гласит "Есть JSON данные в разных файлах, надо это загрузить в одно целое", вы же показываете как получить из папки файлы, это соответствует поставленной задаче? После, да, автор добавил, что данные вовсе на сервере и можно избежать их загрузки на диск, но это не изменило радикально вопрос, он как был про одно, так и остался. Вы же, как я вам уже говорил, просто "заткнули" его своим неверным ответом, а это на данном ресурсе чревато тем, что знающий может попросту не зайти, ибо есть ответ и зачем тратить ему свое время?
    – EvgeniyZ
    Commented 3 июл. 2020 в 19:07

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.