1

Подскажите пример правильного применения thread, для моей задачи. Задача заключается в параллельном разбиении файла на несколько частей.

Делаю следующим образом, уже посчитано кол-во частей для файла. После этого вызываю метод для создания части из файла в новом потоке, кол-во потоков будет = количеству частей файла, то есть под каждое новое создание части будет отдельный поток.

for (int i = 0; i < countOfParts; i++)
{                        
    thread = new Thread(CreateFileParts);
    thread.Start(i);
}

 void CreateFileParts(object i)
        {               
            try
            {
                lock (locked)
                {
                    using (FileStream fsRead = new FileStream(fileName, FileMode.Open, FileAccess.Read))
                    {
                        //for (int i = 0; i < countOfParts; i++)
                        {
                            using (FileStream fsWrite = new FileStream(@"parts\" + $"{i}_{fileName}", FileMode.Create, FileAccess.Write))
                            {
                                if ((int)i == countOfParts - 1)
                                {
                                    byte[] buffer = new byte[sizeLastPart];
                                    fsRead.Read(buffer, 0, buffer.Length);
                                    fsWrite.Write(buffer, 0, buffer.Length);
                                }
                                else
                                {
                                    byte[] buffer = new byte[sizeOfOnePart];
                                    fsRead.Read(buffer, 0, buffer.Length);
                                    fsWrite.Write(buffer, 0, buffer.Length);
                                }
                            }
                        }
                    }                       
                }
            }
            catch (Exception)
            {
                Console.WriteLine("error");
            }              
        }

Файл успешно делится, но когда его составляю в исходный, он получается неправильный. Например если я разбил некое видео на части и потом эти части совместил, то видео получается битым, воспроизводится только та часть байтов, которая была в первой разделенного файла.

Без потоков все выполняется отлично. Подскажите, как можно сделать иначе или помогите исправить мой пример.

5
  • 2
    Вы же можете в hex редаторе сравнить файлы и посмотреть, чем они отличаются. Может быть вы склеиваете их не правильно например.
    – Unick
    18 июн 2018 в 10:18
  • Я же написал, что слияние правильное без деления на потоки
    – unnamed
    18 июн 2018 в 10:19
  • 3
    Хотя судя по вашему коду, необходимо добавить смещение, т.е. 2 часть вы должны читать не с начала файла, а со смещением в равным размеру первой части. У вас я не вижу смещения.
    – Unick
    18 июн 2018 в 10:19
  • Это метод, который просто делит файл на части. Он никак не относится к методу для получения исходного файла из частей
    – unnamed
    18 июн 2018 в 10:20
  • 2
    Создайте простенький текстовый файл. Поделите его, посмотрите сами правильно ли он поделился.
    – Unick
    18 июн 2018 в 10:22

2 ответа 2

6

Подскажите пример правильного применения thread, для моей задачи.

Правильный пример — не использовать потоки для вашей задачи.

Железо устроено таким образом, что читать файл последовательно — это самая эффективная операция с диском, независимо от того, SSD это или HDD. Если разбивать чтение на потоки, то вы будете только замедлять чтение. Более того, если вы читаете с HDD огромный файл, то при использовании двух потоков скорость может значительно уменьшиться, потому что головке диска придётся бегать из одного положения в другое. Чем больше потоков, тем медленнее операция чтения.

Единственный случай, когда чтение и запись можно выполнять параллельно — это если чтение происходит с одного диска, а запись ведётся на другой. Если это не ваш случай, то прекратите пытаться добавить потоки.

Если это ваш случай, то можно воспользоваться await Task.WhenAll(readTask, writeTask), наверное. Впрочем, возможно, даже самый простой код для копирования будет работать достаточно эффективно, потому что операционная система умеет предсказывать последовательное чтение и прекрасно оптимизирует доступ — и в этом случае самый простой код будет плюсом, а не минусом.

3

Вам уже сказали, что смещения нет.

Судя по коду, ваше последовательное чтение выглядит так:

using (FileStream fsRead = new FileStream(fileName, FileMode.Open, FileAccess.Read))
{
   for (int i = 0; i < countOfParts; i++)
   {
      using (FileStream fsWrite = new FileStream(@"parts\" + $"{i}_{fileName}", FileMode.Create, FileAccess.Write))
      {
         if ((int)i == countOfParts - 1)
         {
            byte[] buffer = new byte[sizeLastPart];
            fsRead.Read(buffer, 0, buffer.Length);
            fsWrite.Write(buffer, 0, buffer.Length);
         }
         else
         {
            byte[] buffer = new byte[sizeOfOnePart];
            fsRead.Read(buffer, 0, buffer.Length);
            fsWrite.Write(buffer, 0, buffer.Length);
         }
      }
   }
}      

Он работает, потому что после открытия файла вы его читаете подряд не закрывая и позиция чтения смещается. То есть смотрите, что происходит:

  1. Вы открыли файл. Курсор на позиции 0.
  2. Вы прочли N-ое количество байт и записали. Курсор на позиции N.
  3. Вы ещё раз прочли N-ое количество байт. Курсор на позиции N+N.
  4. И т.д.

В случае многопоточности у вас позиция чтения всегда в нуле:

  1. Открыли файл. Курсор на позиции 0.
  2. Прочли N-ое количество байт и записали. Курсор на позиции N.
  3. Закрыли файл.

То есть ваш многопоточный код читает всегда одно и то же.

Если исправлять ваш код, то можно сделать так:

using (FileStream fsRead = new FileStream(fileName, FileMode.Open, FileAccess.Read))
{
   fsRead.Position = i * sizeOfOnePart;
   using (FileStream fsWrite = new FileStream(@"parts\" + $"{i}_{fileName}", FileMode.Create, FileAccess.Write))
      {

Но как уже сказали: параллельное чтение файлов - дело затратное.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.