0

В процессе чтение-обработка-сохранение было найдено узкое место обработка - конвертирование html в pdf - это часть занимает больше всего времени.

Вроде получилось вырвать кусок обработка-сохранение в отдельный поток:

public class HtmlProcessor
{
    private readonly string _htmlFolder;
    private readonly string _pdfFolder;

    public HtmlProcessor(string htmlFolder)
    {
        _htmlFolder = htmlFolder;

        //Create folder to store pdf-files
        _pdfFolder = Path.Combine(_htmlFolder, "pdfs"); 
        if (!Directory.Exists(_pdfFolder))
        {
            Directory.CreateDirectory(_pdfFolder);
        }                
    }

    public void Process()
    {    
        var htmlFileNames = Directory.GetFiles(_htmlFolder);
        foreach (var htmlFileName in htmlFileNames)
        {
            var htmlFileContent = File.ReadAllText(htmlFileName);              

            Task.Run(() =>
            {
                var htmlToPdf = new HtmlToPdf();
                var pdfDocument = htmlToPdf.ConvertHtmlString(htmlFileContent);

                pdfDocument.Save($@"{_pdfFolder}\{Path.GetFileNameWithoutExtension(htmlFileName)}.pdf");
            });
        }            
    }

static void Main(string[] args)
{
    var htmlProcessor = new HtmlProcessor("c:\htmlFilesFolder");
    htmlProcessor.Process();
}

ВОПРОС

Теперь хочется оторвать обработка, чтобы только эта часть выполнялась параллельно. Я не знаю как должна для этого выглядеть логика. Догадываюсь, что, что-то вроде поток в потоке будет.

Итого вопрос: как выглядит многопоточность когда хочется распараллелить задачу из середины некого процесса?

3
  • 1
    TPL Dataflow?
    – user181245
    14 мая 2017 в 18:55
  • @PetSerAl не знал про TPL Dataflow. Сейчас читаю/разбираюсь... 14 мая 2017 в 19:09
  • В базисе выглядит как очереди. чтение->ставим в очередь обработки, из которой выгребается и обрабатывается параллельно-> результат ставим в очередь сохранения. Очередь, например, может быть представлена BlockingCollection. А еще можно всю цепочку как PLINQ описать. Можно Dataflow...в общем вариантов куча
    – vitidev
    14 мая 2017 в 19:42

1 ответ 1

1

Для начала, попробуйте PLINQ:

var htmlFileNames = Directory.GetFiles(_htmlFolder); // EnumerateFiles

htmlFileNames.AsParallel().ForAll(htmlFileName =>
{
    var htmlFileContent = File.ReadAllText(htmlFileName);
    var htmlToPdf = new HtmlToPdf();
    var pdfDocument = htmlToPdf.ConvertHtmlString(htmlFileContent);
    pdfDocument.Save($@"{_pdfFolder}\{Path.GetFileNameWithoutExtension(htmlFileName)}.pdf");
});

TPL сама сделает распараллеливание. Причём количество запускаемых задач будет зависеть от количества ядер в системе.


Инициализация потока/задачи, даже если они берутся из пула, дело довольно долгое. В итоге, расходы на неё могут нивелировать всю выгоду от распараллеливания, если обработка каждого файла коротка.

В таком случае, нужно каждую задачу нагрузить обработкой диапазона файлов.

using System.Collections.Concurrent;


var htmlFileNames = Directory.GetFiles(_htmlFolder);

Partitioner.Create(0, htmlFileNames.Length).AsParallel().ForAll(range =>
{
    for (int i = range.Item1; i < range.Item2; i++)
    {
        string htmlFileName = htmlFileNames[i];
        var htmlFileContent = File.ReadAllText(htmlFileName);
        var htmlToPdf = new HtmlToPdf();
        var pdfDocument = htmlToPdf.ConvertHtmlString(htmlFileContent);
        pdfDocument.Save($@"{_pdfFolder}\{Path.GetFileNameWithoutExtension(htmlFileName)}.pdf");
    }
});

Метод Partitioner.Create создаёт диапазоны значений, которые и обрабатываются в каждой задаче.

Замечу, что Directory.EnumerateFiles в данном случае неприменим: нужно изначально знать размер коллекции.


Ещё примечание. Я не знаю, что за класс HtmlToPdf. Если его создание ресурсоёмко и метод ConvertHtmlString можно вызывать многократно, то есть смысл вынести его за цикл.

Partitioner.Create(0, htmlFileNames.Length).AsParallel().ForAll(range =>
{
    var htmlToPdf = new HtmlToPdf();
    for (int i = range.Item1; i < range.Item2; i++)
    {
        string htmlFileName = htmlFileNames[i];
        var htmlFileContent = File.ReadAllText(htmlFileName);

        var pdfDocument = htmlToPdf.ConvertHtmlString(htmlFileContent);
        pdfDocument.Save($@"{_pdfFolder}\{Path.GetFileNameWithoutExtension(htmlFileName)}.pdf");
    }
});

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.