0

1)Моя программа использует для многопоточного копирования файлов цикл Parallel.ForEach. Мне нужно вести статистику о том сколько файлов в данный момент скопировано. Как это можно реализовать?

Я пробовал передавать в метод, который отвечает за копирование, переменную для подсчета количества, но так как копирование происходит в несколько потоков, то цифра считается некорректно.

2)Можно ли сделать как-нибудь контролировать какие элементы, какой поток берет? К примеру первый поток берет каждый 1 элемент, второй каждый второй, третий каждый третий и т д?

7
  • 1
    Вы вообще уверены, что эту задачу имеет смысл распараллеливать? Насколько я знаю, при копировании файлов процессор практически не используется, и, следовательно, никакого эффекта от параллелизма не будет. Все "упрется" в диск.
    – Dmitry D.
    Commented 13 мая 2015 в 19:22
  • Со статистикой проблем вообще нет, заведите общий счётчик и увеличивайте его (Interlocked.Increment, разумеется) в конце каждой итерации.
    – VladD
    Commented 13 мая 2015 в 19:25
  • Контролировать, в принципе, можно. Для этого есть OrderablePartition. Но может быть, вам достаточно MaxDegreeOfParalellism?
    – VladD
    Commented 13 мая 2015 в 19:27
  • @ VladD, MaxDegreeOfParalellism я уже использую в программе, однако по моим наблюдениям, если у меня 4 потока, то вся исходная коллекция поделится на 4 куска.
    – iluxa1810
    Commented 14 мая 2015 в 21:40
  • Копирование с диска на диск? Если да, то такие операции не стоит распараллеливать! Commented 22 мая 2015 в 12:39

1 ответ 1

2
  1. Заведите переменную-счетчик. Инкрементируйте ее после каждого копирования файла. Естественно, нужно позаботиться о синхронизации. Самый дешевый способ -- Interlocked.Increment.

    int filesCopied = 0;
    
    ...
    
    string[] files = ...;
    Parallel.ForEach(files, CopyFile);
    
    ...
    
    private void CopyFile(string file)
    {
       // код копирования
       Interlocked.Increment(ref filesCopied);
    }
    
  2. Теоретически, если вы явно задаете опцию MaxDegreeOfParallelism, можно создать кастомный разделитель, который разобьет входную последовательность на это же количество частей по заданному вами правилу. Но, во-первых, не гарантируется, что код будет исполняться, используя ровно MaxDegreeOfParallelism потоков. Во-вторых, зачем вам это, что вы хотите этим добиться? На первый взгляд вопрос кажется странным.
2
  • 1) Если копирование прервется, то будет легко найти место прерывания и продолжить копирование, так как все потоки обрабатывают близкие элементы коллекции. 2)допустим у меня есть 4 потока, 4 директории и в каждой директории по 10000 файлов. Скорее всего каждый поток возьмет по папки. Тогда папки будут копироваться одновременно и другие пользователи не смогут по мере завершения копирования работать с папками. Если бы потоки копировали бы файлы в пределах одной папки, то по завершению копирования папки, пользователи могли бы взять ее в работу, пока копируются остальные .
    – iluxa1810
    Commented 14 мая 2015 в 19:37
  • А есть какой-нибудь дешевый вариант в виде штатных методов? Сейчас у меня просто передается массив типа fileinfo. Мне что то типа: коллекция делится на куски по 50 элементов и каждый поток последовательно их извлекает. Это бы давало мне гарантию, что потоки работают рядом
    – iluxa1810
    Commented 14 мая 2015 в 19:42

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.