0

Вопрос возник следующий: Есть коллекция PDF файлов, с которой необходимо произвести определенные действия, в частности извлечь номера баркодов из каждого файла. Тест провожу на 100 файлах. Привожу часть кода где перебираю коллекцию с использованием

 var pdfFilesList = Directory.GetFiles(folderWithPdf, @"*.pdf", SearchOption.AllDirectories).OrderBy(f => f.ToLower()).ToList();

ConcurrentDictionary<string, MemoryStream> memoryStreams = new ConcurrentDictionary<string, MemoryStream>();
            pdfFilesList.AsParallel().ForAll(pdfFile =>
            {
                var memoryStream = new MemoryStream(File.ReadAllBytes(pdfFile))
                {
                    Position = 0
                };

                memoryStreams.TryAdd(pdfFile, memoryStream);
            });
var semaphoreSlim = new SemaphoreSlim(maxThreads);
var tasks = new List<Task>(memoryStreams.Count);

            foreach (var dictItem in memoryStreams)
            {
                tasks.Add(Task.Run(() =>
                {
                    semaphoreSlim.Wait();
                    try
                    {
                        
////общая обработка
                        var pdfFile=dictItem.Key;
                        var pdfFileStream = dictItem.Value;

////result это коллекция распознанных баркодов
                        var result = ReaderResultItem.ProcessingPdfFile(pdfFile, pdfFileStream, tempDir, maxThreads, scanResolution, heightPersentageArea,false);
                        
                       
                        foreach(var res in result) globalBarcodeItems.Add(res);
                        


                    }
                    finally
                    {
                        semaphoreSlim.Release();
                    }
                }));
            }
            Task.WaitAll(tasks.ToArray());


Метод ReaderResultItem.ProcessingPdfFile осуществляет основную работу с каждым pdf файлом и возвращает результат. maxThreads для своего процессора указываю 24, т.е. одновременно обрабатывается максимум 24 файла.

Пример еще одной реализации,которая дает схожие результаты

Parallel.ForEach<KeyValuePair<string, MemoryStream>>(arr, new ParallelOptions { MaxDegreeOfParallelism = maxThreads}, oneFile =>
            {

                var pdfFileName = oneFile.Key;
                var pdfFileStream = oneFile.Value;

                var result = ReaderResultItem.ProcessingPdfFileTask(pdfFileName, pdfFileStream, tempDir, maxThreads, scanResolution, heightPersentageArea, false);
                result.Result.ToList().ForEach(i => globalBarcodeItems.Add(i));
            });

Время обработки условных 100 файлов составляет в среднем 160 сек. При этом общая загрузка процессора плавает от 15 до 30%. Если же разбить коллекцию по 50 файлов и запустить два приложения одновременно, на каждую папку с файлами свое, то время обработки составит 84 сек. и 106 сек., т.е. максимальное время работы будет 106 сек. При этом общая загрузка процессора плавает от 40 до 70%. Насколько я успел поразбираться с проблематикой вопроса все упирается в threadPool, который создается для каждого запущенного app свой(поправьте если я не прав), то есть когда я запускаю 2 app по 50 файлов каждый, threadPool отрабатывает со своей партией документов(это так?). Т.е. когда я запускаю сразу 2 приложения увеличивается нагрузка на процессор, но обработка двух пакетов документов завершается быстрее чем одного на 100 файлов, с одинаковыми параметрами распараллеливания

Как добиться такого же результата скорости выполнения при обработке из одного консольного приложения, за счет дополнительной нагрузки на процессор? т.е. как использовать все ядра по максимуму? Увеличение MaxDegreeOfParallelism из одного APP не дает прироста скорости, наоборот на обработку каждого файла тратиться больше времени.

Замеры t произвожу достаточно простым методом Stopwatch timerGlobal = new Stopwatch(); в начале выполнения основного метода и забираю результат в конце. Время на обработку 100 файлов и двух пакетов по 50 файлов указал среднее с учетом запуска нескольких тестов подряд.

4
  • Нужно использовать ParallelOptions. Конкретно MaxDegreeOfParallelism поставить -1 (docs.microsoft.com/ru-ru/dotnet/api/…), но нужно иметь в виду, что может выжирать всю доступную память. 31 авг 2022 в 4:30
  • Если ответ полезен, вы можете принять его, для этого нужно поставить зеленую галочку слева от ответа. Если надо дальше посмотреть код, задайте отдельный вопрос, посмотрим, ускорим. Только на этот раз нужен будет воспроизводимый пример.
    – aepot
    31 авг 2022 в 12:03
  • Вы полностью изменили вопрос, ответ данный мной ниже, превратился в мусор. Больше я тратить время на написание ответов для вас не намерен, удачи.
    – aepot
    2 сен 2022 в 6:56

1 ответ 1

0

Похоже сам себе отвечу, если кому то интересно. И так задача была выдать максимальную производительность по скорости обработки коллекции за счет дополнительной нагрузки на все доступные ядра.

Мне помогла правка файла app.config. Ответ нашел здесь: https://stackoverflow.com/questions/38243432/how-can-i-achieve-maximum-parallelism-and-utilize-maximum-cpu-with-parallel-fore

и здесь https://docs.microsoft.com/ru-ru/dotnet/core/runtime-config/garbage-collector

Правки в app config

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
    ...
    <runtime>
        <gcServer enabled="true"/>
       
    </runtime>
</configuration>

При этом параметр MaxDegreeOfParallelism устанавливаем по количеству доступных ядер и через var semaphoreSlim = new SemaphoreSlim(maxThreads); принудительно вызываем именно столько тасков сколько необходимо в моем случае 24. И выходим на результат в 102 сек на обработку тестовой коллекции из 100 файлов.Данное решение помогло мне решить задачу наиболее быстро из одного запущенного приложения на домашней станции.Если буду запускаться на проде буду наоборот ограничивать количество потоков,чтобы не грузить сервер в пике выполнения.

1
  • Это не ответ, удалите этот пост. Посты для ответов не предназначены для дополнения вопроса.
    – aepot
    2 сен 2022 в 6:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.