1

Есть следующий код:

using System.Diagnostics;

class A
{

    public int Count { get; set; }
}

var rnd = new Random();

var lst1 = new List<A>();
var lst2 = new List<A>();

for (int i = 0; i < 10000; i++)
{
    lst1.Add(new A { Count = rnd.Next(10000) });

    if (i % 3 == 0)
    {
        lst2.Add(new A { Count = rnd.Next(10000) });
    }
}

var sw = new Stopwatch();

for (int i = 0; i < 10; i++)
{
    sw.Start();
    var res1 = lst2.Where(i => !lst1.Select(l => l.Count).Contains(i.Count));
    sw.Stop();
    Console.WriteLine(res1.Count() + " " + sw.Elapsed);
    sw.Reset();
}

Первая итерация цикла for при вычислении res1 всегда выполняется существенно медленнее, чем следующие, т.е. после первой итерации результат LINQ кэшируется? И почему если вынести lst1.Select(l => l.Count) внутри for в отдельную переменную результат будет только хуже в плане скорости?

8
  • код, что вы привели, не скомпилируется. Вы тестируете какой то другой код.
    – tym32167
    8 июн 2019 в 9:39
  • 2
    + вы не понимаете что происходит в коде. Первый запуск скорее всего долгий, так как CLR надо перед запуском скопилировать код или процессору надо прогреть кеш. Я к тому, что у вас подход к замерам изначально неверный. Чтобы что то замерить, вы можете использовать BenchmarkDotNet, ну, и, LINQ, конечно, ничего не будет кешировать - нет смысла в этом. Исходники функций LINQ вы можете глянуть здесь
    – tym32167
    8 июн 2019 в 9:44
  • 2
    также скорость работы может зависеть даже от флагов компилятора, в дебаге оно может одно показывать, в релизе с оптимизациями от компилятора - другое
    – tym32167
    8 июн 2019 в 9:45
  • беглое гугленье привело вот сюда, самому некогда глядеть, но надеюсь вам поможет видео
    – tym32167
    8 июн 2019 в 9:47
  • 1
    и да, вы же не в отладчике смотрите время? Вы же скомпилировали это в exe файл в релизе и запускаете этот файгл несколько раз из консоли, так?
    – tym32167
    8 июн 2019 в 9:49

1 ответ 1

3

Как уже написал в комментариях tym32167, одна из причин - JIT-компиляция кода CIL.

То есть при исполнении вот этой строки:

var res1 = lst2.Where(a => !lst1.Select(l => l.Count).Contains(a.Count));

сперва компилируются все эти методы: Where, Select, Contains. Классы List<A>, A и его свойство Count уже использовались выше по коду, поэтому они уже скомпилированы.

Что важно: недостаточно просто вызвать эти методы, например, так:

var list = new List<string>();
var test = list.Where(a => a == null).Select(a => a).Contains(null);

Результат замеров от этого не изменится. Хотя, казалось бы, использованы именно эти методы, но нет, у них другая сигнатура, а именно: с параметром List<string>.

А если взять наш класс A:

var list = new List<A>();
var test = list.Where(a => a == null).Select(a => a).Contains(null);

то это сразу скажется на результате замеров со Stopwatch.


А теперь самое важное. Вот эта строка:

var res1 = lst2.Where(a => !lst1.Select(l => l.Count).Contains(a.Count));

ничего не делает (JIT-компиляция не в счёт). Здесь просто создаётся linq-запрос.

А выполнение этого запроса выполняется при вызове метода Count() в этой строке:

Console.WriteLine(res1.Count() + " " + sw.Elapsed);

Это так называемые lazy evaluation (ленивое вычисление) и deferred execution (отложенное выполнение).

Увеличьте количество итераций (размер списка) на порядок в самом первом цикле:

for (int i = 0; i < 100000; i++)

и это сразу станет заметно на глаз. Паузы между итерациями будут по много секунд, а замеренное время sw.Elapsed - доли миллисекунд.


Добавлю ещё вот что. Всё сказанное относится к Linq To Objects - запросам поверх IEnumerable.

Но есть ещё и Linq To Sql (Entity Framework и т. п.) - запросы поверх IQueryable. Они конструируются на клиенте, а выполняются на сервере. И вот тут уже действуют другие правила. План запросов может кэшироваться на сервере и прочее.

1
  • хех, а я проглядел где автор стопает замеры, хорошо подмечено, однозначно плюсик :)
    – tym32167
    8 июн 2019 в 11:55

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.