7

Пытаюсь разобраться как написать процесс сжатия и разжатия при помощи GZip в многопоточной среде.

При разжатии файла в многопоточной среде выдает постоянно следующие ошибки: StackOverFlow, System.OutOfMemory.

В режиме отладки на строках:

blockLength = BitConverter.ToInt32(lengthBuffer, 4);

и

_dataSize = BitConverter.ToInt32(compressedData[i], blockLength - 4)

во втором потоке присваиваются космические переменные, которые и ведут к фатальным ошибкам. Пробовал ставить 4 байта, всячески "игрался", пытаясь реализовать по-разному. Итог один. Прошу помощи!. Код ниже.

public abstract class GZip
    {
        protected static bool _cancelled = false;
        protected static bool _success = false;
        protected string sourceFile, destinationFile;
        protected static int _threads = Environment.ProcessorCount;
        protected const int buffer_size = 1024 * 1024;

        protected static int blockSize = 10000000;
        protected static byte[][] lastBuffer = new byte[_threads][];
        protected static byte[][] compressedData = new byte[_threads][];


        public GZip(string input, string output)
        {
            this.sourceFile = input;
            this.destinationFile = output;
        }

        public int CallBackResult()
        {
            if (!_cancelled && _success)
                return 0;
            return 1;
        }

        public void Cancel()
        {
            _cancelled = true;
        }

        public abstract void Launch();
    }

    class Decompressor : GZip
    {
        public Decompressor(string input, string output) : base(input, output)
        {


        }
        public override void Launch()
        {
            Console.Write("Decompressing");
            try
            {
                using (FileStream _compressedFile = new FileStream(sourceFile, FileMode.Open))
                {
                    using (FileStream _decompressedFile = new FileStream(sourceFile.Remove(sourceFile.Length - 3), FileMode.Append))
                    {
                        int blockLength;
                        int _dataSize;
                        byte[] lengthBuffer = new byte[8];
                        Thread[] tPool = new Thread[_threads];

                        while (_compressedFile.Position < _compressedFile.Length)
                        {

                            for (int i = 0; (i < _threads) && (_compressedFile.Position < _compressedFile.Length); i++)
                            {
                                Console.Write(".");

                                _compressedFile.Read(lengthBuffer, 0, lengthBuffer.Length);
                                blockLength = BitConverter.ToInt32(lengthBuffer, 4);
                                compressedData[i] = new byte[blockLength];
                                lengthBuffer.CopyTo(compressedData[i], 0);

                                _compressedFile.Read(compressedData[i], 8, blockLength - 8);
                                _dataSize = BitConverter.ToInt32(compressedData[i], blockLength - 4);
                                lastBuffer[i] = new byte[_dataSize];



                                tPool[i] = new Thread(Decompress);
                                tPool[i].Start(i);
                            }

                            for (int i = 0; (i < _threads) && (tPool[i] != null);)
                            {
                                if (tPool[i].ThreadState == ThreadState.Stopped)
                                {
                                    _decompressedFile.Write(lastBuffer[i], 0, lastBuffer[i].Length);
                                    i++;
                                }
                            }
                        }
                    }
                }
            }

            catch (Exception ex)
            {
                Console.WriteLine("Error is occured!\n Method: {0}\n Error description {1}", ex.TargetSite, ex.Message);
                _cancelled = true;
            }
        }

        public static void Decompress(object i)
        {
            using (MemoryStream _memoryStream = new MemoryStream(compressedData[(int)i]))
            {
                using (GZipStream cs = new GZipStream(_memoryStream, CompressionMode.Decompress))
                {
                    cs.Read(lastBuffer[(int)i], 0, lastBuffer[(int)i].Length);
                }
            }
        }
    }
}
5
  • Метка языка программирования отсутствует на вопросе. Поставьте, больше просмотров будет. НАМНОГО ;)
    – A K
    26 янв 2017 в 12:10
  • Зависит от protected static int _threads = Environment.ProcessorCount; В моем случае это 2. Но, однако, на втором потоке выбивает вышеописанные ошибки. На маленьких файлах программа "успешно завершается", только почему то все происходит в одном потоке, записывается около 16 000 байт и на этом все завершается.
    – Mikezar
    26 янв 2017 в 12:49
  • Попробуйте добавьте в общие для thread-ов переменные метку volatile, для compressedData и других учасников
    – nick_n_a
    26 янв 2017 в 12:52
  • Не помогло. Вот подробный пример. Длина сжатого файла составляет 87952607 Первый поток: blockLength = BitConverter.ToInt32(lengthBuffer, 4); -в этой строке переменной приписывается 9284445 _dataSize = BitConverter.ToInt32(compressedData[i], blockLength - 4); - а в этой 520132758 Второй поток: blockLength уже равна 67145198, а _dataSize 1236379320 , что приводит к ошибке
    – Mikezar
    26 янв 2017 в 13:15
  • Откройте для себя метод Thread.Join 26 янв 2017 в 13:53

3 ответа 3

5

Ваш код неявно предполагает, что GZipStream'у можно скормить случайный фрагмент сжатого файла, и он его сможет разжать.

Это не так. В сжатом файле есть служебная информация, которую GZipStream не может найти, если ему достаётся лишь кусок файла.

Судя по всему, случайные данные воспринимаются кодом как управляющая информация, что и приводит к проблемам.


Формат gzip состоит из нескольких, кладущихся впритык кусков. Какие бы ни были размеры каждого куска, архиватор распаковывает куски один за одним. В начале каждого куска есть десятибайтный заголовок, содержащий информацию о куске. Но в этом заголовке нет информации о том, какого размера упакованные данные. За заголовком следует информация, упакованная алгоритмом Deflate, после которой — контрольная сумма и размер распакованных данных.

Поэтому склеивать файл из кусков легко, просто можно укладывать их один за другим. А вот для того, чтобы разбить файл на правильные куски, требуется узнать границы куска. Я покамест не вижу, как сделать это, не осуществляя по сути распаковку Deflate.

Ваш код по сути берёт случайные границы кусков, поэтому интерпретировать данные на границе куска как длину нельзя.

13
  • Спасибо за ответ. Не могли бы вы в кратце описать как это можно разрешить?
    – Mikezar
    26 янв 2017 в 14:14
  • @Mikezar: Вопрос в том, как вы паковали файл. Это нормальный gzip-архив? Или он был упакован каким-то хитрым образом?
    – VladD
    26 янв 2017 в 14:15
  • Нормальный. Перед компрессией разбивается на равные порции, поочередно сжимается, затем записываются в файл. Получаемый архив можно запросто распокавать стандартным Windows'ским архиватором Winrar или Zip. Все данные целы.
    – Mikezar
    26 янв 2017 в 14:38
  • @Mikezar: Интересно. А можно пример такого архива выложить? (Желательно, небольшой.) Ещё вопрос — при распаковке Winrar'ом вы получаете назад точно все данные, или только первый кусок? Это важно.
    – VladD
    26 янв 2017 в 14:39
  • Пример архива: my-files.ru/ivu573 Если я правильно понял вопрос... то все.
    – Mikezar
    26 янв 2017 в 15:02
2

После долгих мучений я все же разобрался как это реализовать по-человечески. Посмотреть код можно в моем профиле на Git: https://github.com/Mikezar/GZip

0

Вот моя реализация , параллелится хорошо, работает довольно шустро. Так же добавил возможность архивировать папки, описание структуры выложу позже, кому интересно , юзайте, критикуйте) https://github.com/githihfuhg/ParallelArchiver

1
  • 1
    описание структуры выложу позже - пожалуйста не затягивайте с этим, после проверки другими участниками, ваше сообщение может быть удалено как ответ содержащий только ссылку.
    – 0xdb
    15 мар 2020 в 23:14

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.