3

Не знаю точно, что с памятью, может утечка, может это нормально, хотел узнать, кто в этом понимает, чтобы избежать такого в дальнейшем.

При запуске проекта локально память имеет такое состояние -

введите сюда описание изображения

И оно никак не растет.

 if (data.Length > 2 )
        {
            dataFromJSON.Append(await System.IO.File.ReadAllTextAsync("cities.json")); 
            CitiesModel model = JsonConvert.DeserializeObject<CitiesModel>(dataFromJSON.ToString());
            Regex regex = new Regex($"^{data.ToLower()}");
            var s = model.Cities.Where(x => regex.IsMatch(x.CityName.ToLower())).ToList();
            return Ok(JsonConvert.SerializeObject(s));
        }

Но когда я делаю запрос через поле, то память начинает сильно расти при работе - c этим кодом. ReadAllTextAsync вытягивает больше 80к названий и потом я еще делаю DeserializeObject и память вырастает до 300+-

введите сюда описание изображения

Но меня пугает не это, а то, что растет с каждым запросом и никак не уменьшается. Сделал 5 запросов и вот такое щас

введите сюда описание изображения

Как решить эту проблему, думаю, что это не нормально и не должно так быть или объясните, кто понимает, почему память не опускается?

UPDATE

Оптимизировал так и работает лучше, все равно память растет, если как говорят, что GC сам очистить когда нужно будет.

Если есть критика в коде - пишите, как можно еще оптимизировать, чтобы не засорять память.

    [HttpPost]
    public async Task<IActionResult> GetCity()
    {
        string data = null;
        using (StreamReader reader = new StreamReader(Request.Body))
        {
            data = await reader.ReadToEndAsync();
        }
        CitiesModel model=null;

            JsonSerializer serializer = new JsonSerializer();
            using (FileStream ss = System.IO.File.Open("cities.json", FileMode.Open))
            using (StreamReader sr = new StreamReader(ss))
            using (JsonReader reader = new JsonTextReader(sr))
            {
              model = serializer.Deserialize<CitiesModel>(reader);
            }
           Regex regex = new Regex($"^{data.ToLower()}");


        var s = new List<CityModel>();
        foreach (var city in model.Cities)
        {
            if (regex.IsMatch(city.CityName.ToLower()))
                s.Add(city);
        }
        System.GC.Collect();
        return Ok(JsonConvert.SerializeObject(s));
    }
5
  • 3
    Она должна опускаться тогда, когда GC решит, что пора. Чтобы вам понять, что у вас проблема, вам надо использовать профайлер памяти.
    – tym32167
    27 сен 2019 в 6:29
  • На скринах - профайлер памяти. Он и есть решение. Там в закладке Memory чуть ниже можно делать снимки и сравнивать им - он покажет, какие именно объекты остались висеть в памяти, и кто именно на них ссылается.
    – user177221
    27 сен 2019 в 7:58
  • 1
    не очень ясно чем вызван отказ от использования "model.Cities.Where(x => regex.IsMatch(x.CityName.ToLower())).ToList();" Данный вариант был более выразителен и не содержит побочного эффекта (мутация объекта созданного вне функции обработки).
    – skingreek
    27 сен 2019 в 14:20
  • @skingreek, это уже не связано с памятью, а по причине, как быстрей отфильтровать данные, снова же начитался, пишут, что foreach быстрей,а linq to object работает немного медленно, хотя работает также через foreach. Для чистоты кода конечно linq лучше будет, если вы знаете, как лучше отфильтровать 60к записей буду рад прочесть, также озадачен этим вопросом. 28 сен 2019 в 18:32
  • ну нет ничего проще проверить насколько будет быстрее этот foreach в ваших реалиях 60к записей...уверен что не будет выходить за рамки погрешности...тогда смысл экономить на спичках...Умный дядка Дональд Кнут сказал "Преждевременная оптимизация — корень всех зол" Если бы у вас была речь о 60кк вот тогда бы вам эта оптимизация уже не пригодилась, вы уже бы совсем по иному решали эту задачу с буферами данных(потому что не смогли бы закачать в оперативку столько данных чтобы пробежать по ним) и мултипоточностью чтобы обработать их за приемлемое время. Ну в общем MapReduce в полный рост.
    – skingreek
    28 сен 2019 в 19:41

2 ответа 2

2

Не знаю точно, что с памятью, может утечка, может это нормально, хотел узнать, кто в этом понимает, чтобы избежать такого в дальнейшем.

Это нормально.

Общее решение:

  • Если под нагрузкой приложение не продолжает есть больше-больше-больше и не начинает падать с OutOfMemory - утечки у вас нет. Некий устоявшийся объем памяти, выделенные приложению под нагрузкой - это нормально.
  • Не вызывайте вручную System.GC.Collect. От "засорения памяти" это не поможет, единственное, чего вы добъетесь - тормоза под нагрузкой. Сборщик памяти и так отработает, просто не сразу (не во время запроса, когда надо результат отдать как можно быстрее!), а чуть позже.
  • Если приложение все-таки течет (по настоящему, выедает все больше памяти, и начинает падать с OOM, а не просто съедает пару сотен мегабайт, и стабилизируется на них, как у вас) - возьмите профайлер памяти (утилиту, которая у вас на скриншотах), сделайте в ней несколько снимков, и найдите место, где течет.
1
  • Спасибо за советы, буду смотреть. 27 сен 2019 в 12:10
0

В вашем коде смущает вызов функции dataFromJSON.Append.

  1. Не ясно dataFromJSON это локальная переменная или член класса. Если второй вариант, то у вас утечка.
  2. Вообще тут читать весь файл в память как строку смысл в мало, я верю что у функции конвертации в объект есть метод принимающий поток из файла напрямую или через reader.

Уверен, если в этом вызове сделать правки потребление памяти должно уменьшиться и утечки не будет. Можно перепроверить момент с утечкой и для теста вызвать System.GC.Collect() по нажатию на тестовуюи кнопку или в профайлере памяти.

9
  • Если второй вариант, то у вас утечка. довольно смелое утверждение :)
    – tym32167
    27 сен 2019 в 7:06
  • @skingreek StringBuilder dataFromJSON = new StringBuilder(); Почитав, и понял бюлдер подходит лучше, чем просто string, так как бюлдер не хранит такой мусор типа "/n/r" и так далее. System.IO.File.ReadAllTextAsync - использовал его, так как он быстрей читает файл, чем тот же streamreader. 27 сен 2019 в 7:11
  • @skingreek сделал так и память начала расти медленно, все равно растет JsonSerializer serializer = new JsonSerializer(); using (FileStream ss = System.IO.File.Open("cities.json", FileMode.Open)) using (StreamReader sr = new StreamReader(ss)) using (JsonReader reader = new JsonTextReader(sr)) { model = serializer.Deserialize<CitiesModel>(reader); } 27 сен 2019 в 7:22
  • из 7 запросов поднялось со 100 до 200 (лучше, чем было), но все равно растет при каждом запросе и это нормально тогда? 27 сен 2019 в 7:30
  • Потому что в любом случае данные грузятся целиком в память. Применив потоки мы просто уменьшили потребление памяти для загрузки данных(потому что нет промежуточной загрузки в билдер, а после создания строки). Потреблять память это нормально, главное ее освобождать... Сборник мусора, как вам ранее верно сказали, сам соберет и очистит кучу. Лучше просто изучить вопрос работы сборщика мусора, его поколений, и многое станет понятным.
    – skingreek
    27 сен 2019 в 13:54

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.