1

Есть задачка: на входе один или несколько EXCEL файлов. Я преобразую все ячейки в текст и просто записываю все в новый текстовый файл, который я так же создаю программно.

Есть однопоточная версия данного приложения: консольное приложение с библиотекой NPOI для работы с Excel файлами. Проблема в том, что когда программа обрабатывает много, очень много файлов, то работает очень долго. Поэтому хочу ускорить её и сделать многопоточную версию. Подскажите как лучше реализовать многопоточность.

До этого никогда не сталкивался с многопоточностью. Когда начал искать на предмет возможных решений моей проблемы, то нашел PLINQ и Parallel.ForEach. Подскажите, что лучше использовать.

1
  • А почему бы вам не попробовать оба варианта и не рассказать нам, что лучше?
    – VladD
    Commented 21 мар. 2016 в 19:21

2 ответа 2

1

Пытаясь читать или писать много файлов в разных потоках, много вы не выиграете, поскольку все в конечном счете упрется в диск. Поэтому я бы посоветовал следующую схему:

  • Чтение и запись файла с помощью асинхронных операций (смотрите в сторону асинхронных методов типа ReadAsync() и async/await). Если библиотека для чтения Excel файлов не поддерживает асинхронную работу, значит читайте многопоточно, но нужно экспериментировать и проверять, при каком количестве потоков вы получите наилучшую скорость.
  • Преобразование ячеек в текст можно делать многопоточно (Parallel.ForEach или PLINQ).

Parallel.ForEach и PLINQ скорее всего дадут примерно одинаковые результаты (однако ничто не мешает измерить оба варианта). Что выбирать -- зависит в первую очередь от того, какая функциональность нужна:

  • если методы обработки элементов не зависят друг от друга, порядок обработки не важен, выбирайте Parallel.ForEach
  • если важен порядок обработки элементов, выбирайте PLINQ (см. AsOrdered())
  • если вам нужен стрим процессинг (ленивая обработка), выбирайте PLINQ
  • если нужно обрабатывать две коллекции вместе, выбирайте PLINQ
  • если нужен thread-local state, выбирайте Parallel.ForEach (он имеет встроенную поддержку)
  • если нужна отмена, выбирайте Parallel.ForEach (см. ParallelLoopState.Stop() и ParallelLoopState.Break())

Подробнее можно узнать в документе "When Should I Use Parallel.ForEach? When Should I Use PLINQ?".


Также при схеме "чтение-трансформация-запись" вам может пригодиться producer/consumer pattern, таких пар у вас будет две (чтение-трансформация и трансформация запись). Одно из преимуществ заключается в том, что если части конвейера работают с разной скоростью, то есть возможность регулировать производительность отдельных частей, тем самым оптимизируя производительность (и по скорости, и по потреблению памяти) всего конвейера.

0

Многопоточность - это разделение одной большой задачи на несколько маленьких работающих параллельно, не поможет вам PLINQ, вы можете модифицировать свою программу сделав ее многопоточной, для этого создайте пул потоков и вынесите парсинг Excel в отдельный поток, в итоге вы получите прибавку к скорости пропорционально количествe процессоров.

В парсинге Excel стандартный Open XML SDK будет побыстрее NPOI

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.