Добрый день, коллеги.
Написал работающий алгоритм получения и обработки данных по типичному сценарию producer/consumer, хочу продвинуться дальше.
Одна из producer-процедур получает список файлов и запускает Parallel.ForEach
по каждому элементу списка. Каждая итерация состоит из трех блоков:
- Скачивание файла
- Чтение файла через COM интерфейс Excel и получение двумерного массива строк
- Создание объекта по каждой строке массива и отправка его в
BlockingCollection
Файлов несколько сотен, понятно, что запускать экземпляр Excel для чтения каждого файла бессмысленно и затратно, поэтому пункт 2 заключен в критическую секцию. Можно, конечно, использовать семафор и обрабатывать файлы несколькими экземплярами Excel, но это другая история и я не хочу этого касаться.
В текущем состоянии цикл держит активными 4 задачи (по количеству процессоров), то есть параллельность получается малоэффективной: быстро скачиваются 4 файла, задачи ждут по очереди блокировку и алгоритм получается практически синхронным.
Вопрос: как поставить задачу по первой итерации Parallel.ForEach
в режим ожидания, чтобы начала работать вторая, а потом вернуться и доделать первую? Пытаясь использовать Await, поток выполнения выходит из цикла и я получаю кашу.
Эффективный результат был бы примерно таким: скачалось 4 файла, запустилась блокировка на Excel, остальные три задачи ушли в фон, скачалось три файла, скачалось три файла, обработался массив из 1-й задачи, запустилась блокировка во 2-й задаче, скачалось 2 файла...
Хочется еще попробовать отказаться от Parallel.ForEach
, разбить алгоритм на три синхронных For Each
и связать их через 2 consume-коллекции
, чтобы обеспечить примерно такой ход выполнения, который описал выше. Или вовсе написать три функции и увязать их напрямую через Yield
безо всяких лишних коллекций, так будет еще быстрее. Но это также другая история, которой в рамках этого вопроса касаться не буду.
В данном случае мне не хватает IQ для того, чтобы самостоятельно разобраться с вопросом асинхронности внутри итераций Parallel.ForEach
, очень надеюсь на ваши квалифицированные советы, которые смогут поднять мой уровень.
Спасибо