0

Интересует подсчет энтропии файла, с текстом знаю как подсчитать, а вот с файлом не получается. Может кто подсказать, как её подсчитать? Буду очень благодарен за пример.

        public int Count(byte[] ByteArray,int ReadByte)
        {
        int cnt = 0;
        for (int i = 0; i < ByteArray.Length; i++)
        {
            if (ByteArray[i] == ReadByte)
            {
                cnt++;
            }
        }
        return cnt;
    }

        public double GetCondEnt(OpenFileDialog OpenFileDlg)
        {
        FileStream FileOpen = new FileStream(OpenFileDlg.FileName, FileMode.Open, FileAccess.Read);
        byte[] ByteArray = new byte[100];
        FileOpen.Read(ByteArray, 0, ByteArray.Length);
        int len = ByteArray.Length;
        double[,] P = new Double[len, len];
        double H = 0; // результат
        double PHi, PA, PHiA; 
        for (int i = 0; i < len; i++)
        {
            int ReadByte = FileOpen.ReadByte();
            PA = (double)Count(ByteArray,ReadByte) / len; 
            for (int j = i + 1; j < len; j++)
            {
                PHi = (double)Count(ByteArray, ByteArray[j]) / len;
                PHiA = (double)Count(ByteArray, ByteArray[j]) / (len - j);
                P[i, j] = (double)PHi * PHiA / PA;
                H += -P[i, j] * Math.Log(P[i, j], 2);
            }
        }
            return Math.Round(H, 2);
        }

Получается все время -бесконечность и при большом массиве зависает.

8
  • А чем файл отличается от текста? Прочтите его в память и считайте свою энтропию.
    – avp
    28 окт 2012 в 19:40
  • Японский бог... Вы же получается в случае файла 1МБ будете прогонять по нему свои циклы 4*1М раз... Неудивительно, что работает медленно. Если необходимо считать статистическое распределение по содержимому байтов, то можно код соптимизировать, а именно завести массив int64 count[256], каждый из элементов которого инкрементировать при нахождении в исходном файле байта с нужным значением. Из минусов подхода - при больших размеров файла массив может переполниться.
    – gecube
    28 окт 2012 в 21:35
  • Ну это понятно, что при большом объеме там пиши пропало. Попробую пойти путем Вашего совета. Но я не понимаю, почему все время получается -бесконечность, хотя со строкой например все отлично.
    – Sharp
    28 окт 2012 в 21:43
  • 1
    @avp, я предложил по сути код типа: unsigned char byte = ReadFromFile(); count[byte]++; и это все в цикле. Теперь возьмем оооооочень большой файл. Понятно, что int32 брать глубо. 4ГБ нулей и мы приплыли... А теперь представьте себе sparse-файл, занимающий на винте мало места, а по факту размером мноооого. Тут уже оценки дать сложно, но, думаю, int64 должно хватить на ближайшие пару лет...
    – gecube
    28 окт 2012 в 22:19
  • 1
    Особо не вникал, но встречный вопрос: PA = (double)Count(ByteArray,ReadByte) / len; //... P[i, j] = (double)PHi * PHiA / PA; Что будет, если Count() вернёт 0?
    – istem
    29 окт 2012 в 6:15

1 ответ 1

0
        UInt32[] prevpos = new UInt32[256];
        double dS = 0;          // интеграл энтропии
        UInt32 ReadBytes = 0;   //количество прочитанных байтов
        int N;          // счетчик цикла
        double Entropy = 0;     // подсчитанная энтропия
        UInt32 NumBytes;        // сколько байтов осталось прочитать до конца буфера
        UInt32 newpos = 0;
        byte[] buf = new byte[1024];
        for (int i = 0; i < prevpos.Length; i++)
        {
            prevpos[i] = 0;
        }
        FileStream FileOpen = new FileStream(OpenFileDlg.FileName, FileMode.Open, FileAccess.Read);
        NumBytes = (UInt32)FileOpen.Read(buf, 0, buf.Length);
        do
        {
            dS = 0;
            for (N = 0; N < 1024; ++N)
            {
                // Считаем - сколько байт прошло, прежде чем мы встретили buf[N] байт
                newpos = ReadBytes - prevpos[buf[N]];
                // считаем увеличение энтропии от этого байта
                dS += (newpos <= 256) ? (double)(newpos) / 256 : (double)(ReadBytes - (newpos - 256)) / ReadBytes;
                // сохраняем новую послед. позицию найденного байта buf[N]
                prevpos[buf[N]] = ReadBytes;
                ++ReadBytes;
            }
            Entropy += dS;
            // читаем очередную порцию данных
            NumBytes = (UInt32)FileOpen.Read(buf, 0, buf.Length); //256
            // пока не достигли конца файла - продолжаем считать энтропию
        } while (NumBytes != 0);
        double x = (100 * ((Entropy / ReadBytes) / 0.63));
        MessageBox.Show(x.ToString());

Работает нормально, осталось только над точностью поработать.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.