3

Есть много огромныйх файлов(по 4-6gb), мне нужно запустить примерно 100 потоков, чтобы каждый поток брал следующую строку из файла и обрабатывал.

        List<Thread> _threads;
        int countThr;

        public void Run(int count)
        {
            Globals.threadAlive = 0;
            _threads = new List<Thread>();
            _threads.Clear();
            countThr = count;
            for (int i = 0; i < count; i++)
            {
                var thread = new Thread(multiThread);
                thread.IsBackground = true;
                _threads.Add(thread);
                _threads[i].Start();
            }
        }

        public void Abort()
        {
            Globals.threadAlive = 1;
            foreach (Thread thr in _threads)
            {
                thr.Abort();
            }
            _threads.Clear();
            Globals.threadAlive = 0;
        }

        private void multiThread()
        {
            for (int c = 0; c < Globals.lines.Length; c++)
            {
                //обработка строки
            }
            Globals.threadAlive = 1;
            Abort();
        }

Это будет правильное решение моей задачи?

6
  • У вас в данный момент получается, что все треды обрабатывают один и тот же массив строк, работа между ними не распределяется. Также 100 потоков - это избыточно, будет тратится много времени на переключение контекстов. Можно использовать ConcurrentQueue: один поток читает файл и добавляет строки в очередь, остальные потоки извлекают строки из очереди и обрабатывают (задача читателей-писателей).
    – kmv
    27 апр 2016 в 11:07
  • Лучше делайте все для одного файла в одном потоке, а распараллеливайте на уровне запуска нескольких экземпляров приложения с разными наборами файлов. Это будет и проще и быстрее.
    – avp
    27 апр 2016 в 12:17
  • 1
    А где bottleneck? Что отнимает время — обработка или чтение файлов? Если чтение доминирует, вам не поможет распараллеливание между потоками.
    – VladD
    27 апр 2016 в 12:23
  • И ещё: Thread.Abort не правильно никогда.
    – VladD
    27 апр 2016 в 12:25
  • 1
    Сама по себе загрузка нескольких гигабайтов в глобальную переменную - неправильное решение. 27 апр 2016 в 12:44

2 ответа 2

4

Если у вас доминирует чтение файла, просто читайте каждый из файлов в одном отдельном потоке. Сотня потоков не нужна и только всё испортит.

Да, и потоки устарели уже давно, применяйте TPL.

void ProcessFile(string path)
{
    foreach (var line in File.ReadLines(path))
    {
        // обработать строку
    }
}

IEnumerable<string> paths = ...;
var processTasks = paths.Select(p => Task.Run(() => ProcessFile(p));
await Task.WhenAll(processTasks);

Ленивое чтение файла позволяет не грузить гигабайты текста в память. Заодно убрали ненужную (и ошибочную) ручную работу с потоками.


Если у вас обработка строки занимает ощутимое время, вам пригодится PFX:

void ProcessFile(string path)
{
    Parallel.ForEach(File.ReadLines(path), line =>
    {
        // обработать строку
    });
}
2
  • TPL для IO разве хорошо?
    – ixSci
    27 апр 2016 в 16:38
  • 1
    @ixSci да, очень :) 27 апр 2016 в 17:15
2

Я предлагаю вычитывать с помощью File.ReadLines, это позволяет не загружать весь файл в память.

Разбирать отдельные строки в отдельных задачах для потоков - нерентабельно, скорее всего, зависит от того, как долго занимает обработка одной строки.

Поэтому предложенный вариант разбивает все строки на пакеты небольшого размера (batches) и обрабатывает их параллельно.

void Main()
{
    var filePath = Path.GetTempFileName();
    File.WriteAllText(filePath, string.Join(Environment.NewLine, Enumerable.Range(0, 100001)));

    var batchSize = 1000;

    var allLines = File.ReadLines(filePath);

    var processedCount = 0;

    GetLinesInBatches(allLines, batchSize).AsParallel().ForAll(batch =>
    {
        foreach (var line in batch)
        {
            Interlocked.Increment(ref processedCount);
            // Do something with the line.
        }
    });

    Console.WriteLine("Total: {0}", processedCount);
}

IEnumerable<List<string>> GetLinesInBatches(IEnumerable<string> allLines, int batchSize)
{
    using (var e = allLines.GetEnumerator())
    {
        bool more = false;
        do
        {
            var batch = new List<string>(batchSize);
            for (var i = 0; i < batchSize && (more = e.MoveNext()); i++)
            {
                batch.Add(e.Current);
            }
            yield return batch;
        }
        while (more);
    }
}
2
  • 1
    Или можно взять Batch из MoreLinq тоже.
    – VladD
    27 апр 2016 в 17:19
  • Исправил ошибку с yield return, спасибо Ивану Бойко 31 мая 2016 в 13:44

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.