1

Имеется очередь каких-то атомарных операций, в моем случае это порции данных, которые загружаются в БД, также это может быть, например, очередь файлов при копировании. Я хочу вычислять и выводить темп выполнения этих операций, ну, например, чтобы в любой момент я видел, что за последнюю минуту выполнилось 20 операций или, например, 120. Супер точность при этом не нужна - отклонение в 2-5 единиц считаю допустимым. Параллельно в эту же очередь извне могут добавляться еще порции данных, поэтому просто делать отпечаток количества элементов в очереди не получится. Как это реализовать?


Пока набирал вопрос, возникло примерно вот такое решение:

using System;
using System.ComponentModel;
using System.Linq;
using System.Timers;

class Program : INotifyPropertyChanged
{
    static void Main(string[] args) => new Program().Run();

    int count = 0;
    int[] tablet = new int[60];

    public int Tempo => tablet.Sum();

    public event PropertyChangedEventHandler PropertyChanged;

    void Snick()
    {
        ++count;
    }

    void Cut()
    {
        int s = DateTime.Now.Second;
        tablet[s] = count;
        count = 0;
        PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(Tempo)));
    }

    void Run()
    {
        Timer timer = new Timer(1000);
        timer.Elapsed += (s, e) => Cut();
        timer.Start();
        // ...
        while (true)
        {
            // ...
            Snick();
        }

        timer.Stop();
    }
}

Но оно мне пока не до конца нравится, хотя бы тем, что здесь вводится массив и таймер, если я вдруг захочу выводить темп за 1 с - нагрузка от таймера может стать существенной, так же не понятно на какие отрезки разбивать.

Может у кого-то есть уже готовое решение, которое лучше?

4
  • на интервале в 1 с нагрузка от таймера не будет существенной, на 1 мс - возможно, хотя тоже под сомнением, таймер в отдельном потоке работает. А вот использовать для подсчета DateTime.Now - глупость, заведите статический счетчик вызова метода, по таймеру фиксируйте значение счетчика и обнуляйте.
    – rdorn
    19 ноя 2016 в 13:33
  • Да, но у меня более 40 таких очередей в разных потоках и к каждому потоку добавить еще один - уже может быть накладно. Но опять же, я могу использовать таймер один на все очереди... 20 ноя 2016 в 5:59
  • зачем к каждому, таймер один. к каждому потоку нужно будет добавить только инкремент счетчика выполненных действий
    – rdorn
    20 ноя 2016 в 6:27
  • Кстати, посмотрел сейчас метод Stopwatch.GetTimestamp(): msdn.microsoft.com/en-us/library/… - он как раз и берет свое значение из DateTime.Now 20 ноя 2016 в 16:19

2 ответа 2

3

А почему так сложно?

Вот такой простой код должен работать:

TimeSpan timeout = TimeSpan.FromMinutes(1);

long OperationsDuringLastMinute { get; private set; }

async void RegisterOperation()
{
    OperationsDuringLastMinute++;
    await Task.Delay(timeout);
    OperationsDuringLastMinute--;
}

В конце каждой операции вызывайте RegisterOperation (в главном потоке).


Если у вас не UI-контекст, то, как подсказывает @Raider в комментариях, вам понадобятся атомарные операции.

long operationsDuringLastMinute;
long OperationsDuringLastMinute
{
    get { return Interlocked.Read(ref operationsDuringLastMinute); }
}

async void RegisterOperation()
{
    Interlocked.Increment(ref operationsDuringLastMinute);
    await Task.Delay(timeout);
    Interlocked.Decrement(ref operationsDuringLastMinute);
}
14
  • Я не до конца понимаю работу тасков, но этот код не создаст 100 (по числу выполненных операций) висящих в фоне ничего не делающих потоков? Или это как-то всё должно хитро оптимизироваться в итоге? 21 ноя 2016 в 2:27
  • @Андрей: Нет, конечно, никаких 100 потоков! Таск, висящий в await, вовсе не занимает никакого потока.
    – VladD
    21 ноя 2016 в 8:12
  • Ну тогда это именно то, что мне нужно, спасибо! 21 ноя 2016 в 9:28
  • @Андрей: Пожалуйста! Рад, что помогло. Обязательно почитайте и разберитесь с async/await, это очень мощная техника.
    – VladD
    21 ноя 2016 в 10:26
  • @Андрей Советую вам тоже разобраться c async/await, и конкретно c Task.Delay. Этот код создаст 100 таймеров (по числу выполненных операций), каждый их которых по истечению минуты попытается взять по потоку из Thread Pool (или вернуться в UI synchronization context, но это не наш случай), чтобы выполнить операцию декремента, которая еще и не атомарная. По сравнению с этим, вариант автора с 1 таймером и ненужным массивом выглядит уже не так криво.
    – Raider
    21 ноя 2016 в 16:26
3

Если нужно отслеживать выполнение какой-либо длительной операции независимо от неё самой, в любом случае понадобится 2 потока, и какая-то общая область памяти, куда будет записываться общий прогресс.

Таймер здесь не нужен: во-первых, для него берется еще один (не вдаваясь в подробности) ненужный поток из thread pool, во-вторых, его точность уж совсем хромает, и не для того он был создан.

Для замеров точных меток времени в .NET есть класс Stopwatch, но так как ваша задача - посчитать количество операций за последнюю минуту, то переменной с предыдущим замером в сочетании с Thread.Sleep будет достаточно. При желании, Stopwatchи Thread.Sleep можно скомбинировать для получения более точного результата.

Для наглядности, я использовал квантование по секунде, но интервал легко меняется параметром метода:

public static class Program
{
    private static readonly ConcurrentQueue<string> Results = new ConcurrentQueue<string>();

    static void Main(string[] args)
    {
        Task work = Task.Run(new Action(DoWork));
        MeasureRate(work, Results);
        Console.WriteLine("Completed!");
    }

    private static void MeasureRate<T>(IAsyncResult work, IReadOnlyCollection<T> results, int timing = 1000 /* 1 second */)
    {
        int previousCount = 0;
        do
        {
            Console.WriteLine("Current rate: {0} entries per second", results.Count - previousCount);
            previousCount = results.Count;
            Thread.Sleep(timing);
        } while (!work.IsCompleted);
    }

    private static void DoWork()
    {
        var randomizer = new Random();
        for (int i = 0; i < 100000; i++)
        {
            Thread.Sleep(randomizer.Next(100));
            Results.Enqueue("Result " + i);
        }
    }
}
9
  • Ваш вариант мне не подходит, т.к. вы вычисляете среднюю скорость за всё время, а мне нужно именно число операций за последнюю минуту, так как работа организована примерно следующим образом: пока есть элементы в очереди - работаем с ними, когда они закончились - засыпаем на полчаса (или час), затем опять проверяем состояние очереди. 20 ноя 2016 в 14:24
  • Источник данных у меня один - процесс-сканер и 40 процессов работающих с БД, этот сканер сканирует некоторую папку (папки) и при появлении в них файлов формирует порции данных и помещает их в очередь одного из 40 процессов. После обработки всех файлов он также засыпает на час. 20 ноя 2016 в 14:27
  • Тогда нужно просто сохранять предыдущий замер в переменной, и каждую минуту вычитывать разницу. Я обновил пример кода.
    – Raider
    20 ноя 2016 в 15:43
  • Хорошо, вашу идею понял и принял к сведению, но у вас не совсем то, смотрите для чего в моем варианте массив int[60] - т.е. мне не нужно получать количество операций за каждую конкретную минуту, а за последнюю минуту, т.е непрерывно каждую секунду у меня есть количество операций за последние 60 сек. Т.е. в 00:01:00 у меня будет отображаться количество выполненных за промежуток 00:00:00-00:01:00; в 00:01:01 - количество выполненных за промежуток 00:00:01-00:01:01 и т.д. В моем примере данные обновляются каждую секунду, если я захочу обновлять каждые 5 с, то хватит массива из 12 чисел, например. 20 ноя 2016 в 16:14
  • Т.е. счетчик, который будет каждую минуту сбрасываться в ноль и опять набегать? И зачем нужен массив, если вам нужна только последняя минута?
    – Raider
    20 ноя 2016 в 16:21

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.