2

Добрый день, коллеги.

Написал работающий алгоритм получения и обработки данных по типичному сценарию producer/consumer, хочу продвинуться дальше.

Одна из producer-процедур получает список файлов и запускает Parallel.ForEach по каждому элементу списка. Каждая итерация состоит из трех блоков:

  1. Скачивание файла
  2. Чтение файла через COM интерфейс Excel и получение двумерного массива строк
  3. Создание объекта по каждой строке массива и отправка его в BlockingCollection

Файлов несколько сотен, понятно, что запускать экземпляр Excel для чтения каждого файла бессмысленно и затратно, поэтому пункт 2 заключен в критическую секцию. Можно, конечно, использовать семафор и обрабатывать файлы несколькими экземплярами Excel, но это другая история и я не хочу этого касаться.

В текущем состоянии цикл держит активными 4 задачи (по количеству процессоров), то есть параллельность получается малоэффективной: быстро скачиваются 4 файла, задачи ждут по очереди блокировку и алгоритм получается практически синхронным.

Вопрос: как поставить задачу по первой итерации Parallel.ForEach в режим ожидания, чтобы начала работать вторая, а потом вернуться и доделать первую? Пытаясь использовать Await, поток выполнения выходит из цикла и я получаю кашу.

Эффективный результат был бы примерно таким: скачалось 4 файла, запустилась блокировка на Excel, остальные три задачи ушли в фон, скачалось три файла, скачалось три файла, обработался массив из 1-й задачи, запустилась блокировка во 2-й задаче, скачалось 2 файла...

Хочется еще попробовать отказаться от Parallel.ForEach, разбить алгоритм на три синхронных For Each и связать их через 2 consume-коллекции, чтобы обеспечить примерно такой ход выполнения, который описал выше. Или вовсе написать три функции и увязать их напрямую через Yield безо всяких лишних коллекций, так будет еще быстрее. Но это также другая история, которой в рамках этого вопроса касаться не буду.

В данном случае мне не хватает IQ для того, чтобы самостоятельно разобраться с вопросом асинхронности внутри итераций Parallel.ForEach, очень надеюсь на ваши квалифицированные советы, которые смогут поднять мой уровень.

Спасибо

1
  • Сразу оговорюсь по поводу выбора в пользу критической секции и использования 1 инстанс-приложения Excel вместо запуска Excel на каждый файл. Замеры на сервере с 16 ядрами показали увеличение времени работы в два раза по сравнению с критической секцией. Данный подход я рассматривать не буду 19 авг 2017 в 13:18

1 ответ 1

1

Попробуйте сделать длинный конвейер.

  1. Очередь адресов для скачивания. Producer берёт список и укладывает в очередь, consumer'ы берут адрес из очереди из очереди, скачивают файл, и кладут путь к файлу (или его контент) во вторую очередь. (Для этой второй очереди consumer'ы выступают в роли producer'ов.)

  2. Очередь скачанных файлов. У каждого consumer'а по экземпляру Excel'я, он задирает из очереди скачанный файл, скармливает его Excel'ю и забирает результат в виде двумерного массива. После чего каждую строку массива добавляет в очередь массивов, и удаляет файл. Количество consumer'ов здесь равно нужному количеству экземпляров Excel'я.

  3. Очередь строк — это то, чем у вас сейчас является единственный экземпляр BlockingCollection.

Parallel.ForEach и await становятся по идее не нужными.


Для реализации очередей стоит использовать BlockingCollection, как описано тут.

7
  • Большое спасибо за совет. В англ.статье stackoverflow.com/questions/11564506/… читаю про то, что TPL и async\await по факту несовместимы и акробатика с await внутри Parallel циклов не получится никогда. Вместо этого советуют применить TPL Dataflow. Выглядит громоздко и на первый взгляд сложно, но попробовать в деле интересно 19 авг 2017 в 14:14
  • @ИванЛазарев: Ну это как бы не вполне факт, т. к. async/await базируется на TPL. Но да, TPL Dataflow — это, вероятно, хороший вариант для вашего случая.
    – VladD
    19 авг 2017 в 14:36
  • в общем, TPL Dataflow имеет смысл внедрять в каких-то больших проектах с действительно сложной архитектурой, в которой сценарий producer/consumer не статичен. Для моего проекта это "из пушки по воробьям", но в целом я своей цели достиг и понял суть. Переделал проект, добавив две коллекции для связи 3 задач через итератор, все работает быстро вопреки моим сомнениям - коллекции ведь в полный рост не материализуются, итераторы держат в памяти только объекты, над которыми работают в данный момент. В итоге 45 секунд работы приложения превратились в 38 :D 19 авг 2017 в 16:36
  • И еще - очередь не стал делать, все работает через BlockingCollection, так как порядок следования данных не имеет значения. От Parallel.ForEach также не отказался и использовал конструкцию для массированной загрузки файлов с сервера. От блокировки для Excel отказался, просто итерируясь по скачанным файлам в синхронном For Each. Все работает стабильно 19 авг 2017 в 16:39
  • @ИванЛазарев: Ну я под оочередью и имел в виду BlockingCollection.
    – VladD
    19 авг 2017 в 17:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.