Вопрос возник следующий: Есть коллекция PDF файлов, с которой необходимо произвести определенные действия, в частности извлечь номера баркодов из каждого файла. Тест провожу на 100 файлах. Привожу часть кода где перебираю коллекцию с использованием
var pdfFilesList = Directory.GetFiles(folderWithPdf, @"*.pdf", SearchOption.AllDirectories).OrderBy(f => f.ToLower()).ToList();
ConcurrentDictionary<string, MemoryStream> memoryStreams = new ConcurrentDictionary<string, MemoryStream>();
pdfFilesList.AsParallel().ForAll(pdfFile =>
{
var memoryStream = new MemoryStream(File.ReadAllBytes(pdfFile))
{
Position = 0
};
memoryStreams.TryAdd(pdfFile, memoryStream);
});
var semaphoreSlim = new SemaphoreSlim(maxThreads);
var tasks = new List<Task>(memoryStreams.Count);
foreach (var dictItem in memoryStreams)
{
tasks.Add(Task.Run(() =>
{
semaphoreSlim.Wait();
try
{
////общая обработка
var pdfFile=dictItem.Key;
var pdfFileStream = dictItem.Value;
////result это коллекция распознанных баркодов
var result = ReaderResultItem.ProcessingPdfFile(pdfFile, pdfFileStream, tempDir, maxThreads, scanResolution, heightPersentageArea,false);
foreach(var res in result) globalBarcodeItems.Add(res);
}
finally
{
semaphoreSlim.Release();
}
}));
}
Task.WaitAll(tasks.ToArray());
Метод ReaderResultItem.ProcessingPdfFile осуществляет основную работу с каждым pdf файлом и возвращает результат. maxThreads для своего процессора указываю 24, т.е. одновременно обрабатывается максимум 24 файла.
Пример еще одной реализации,которая дает схожие результаты
Parallel.ForEach<KeyValuePair<string, MemoryStream>>(arr, new ParallelOptions { MaxDegreeOfParallelism = maxThreads}, oneFile =>
{
var pdfFileName = oneFile.Key;
var pdfFileStream = oneFile.Value;
var result = ReaderResultItem.ProcessingPdfFileTask(pdfFileName, pdfFileStream, tempDir, maxThreads, scanResolution, heightPersentageArea, false);
result.Result.ToList().ForEach(i => globalBarcodeItems.Add(i));
});
Время обработки условных 100 файлов составляет в среднем 160 сек. При этом общая загрузка процессора плавает от 15 до 30%. Если же разбить коллекцию по 50 файлов и запустить два приложения одновременно, на каждую папку с файлами свое, то время обработки составит 84 сек. и 106 сек., т.е. максимальное время работы будет 106 сек. При этом общая загрузка процессора плавает от 40 до 70%. Насколько я успел поразбираться с проблематикой вопроса все упирается в threadPool, который создается для каждого запущенного app свой(поправьте если я не прав), то есть когда я запускаю 2 app по 50 файлов каждый, threadPool отрабатывает со своей партией документов(это так?). Т.е. когда я запускаю сразу 2 приложения увеличивается нагрузка на процессор, но обработка двух пакетов документов завершается быстрее чем одного на 100 файлов, с одинаковыми параметрами распараллеливания
Как добиться такого же результата скорости выполнения при обработке из одного консольного приложения, за счет дополнительной нагрузки на процессор? т.е. как использовать все ядра по максимуму? Увеличение MaxDegreeOfParallelism из одного APP не дает прироста скорости, наоборот на обработку каждого файла тратиться больше времени.
Замеры t произвожу достаточно простым методом Stopwatch timerGlobal = new Stopwatch(); в начале выполнения основного метода и забираю результат в конце. Время на обработку 100 файлов и двух пакетов по 50 файлов указал среднее с учетом запуска нескольких тестов подряд.