2

Есть очень большой текстовый файл с содержимым:

5372635@5272736@2437362@827463637@262627@ 

И так далее. Все в одну строку.

Есть код который из этого файла читает цифры пока не встретится метка @. Если метка встретилась, то цифры ложатся в StringBuilder, потом процесс повторяется пока файл не закончится. Далее,результат, что получился в StringBuilder (например число 5372635) нужно преобразовать к типу int и поделить на число, условно 123456. То что получилось перевести в байты и записать в выходной файл. Написал такую реализацию:

void DeadSecDecoding3(string strfile)
    {
        string newPathFile = pathFile + ".crypto.txt";

        List<string> stringlist = new List<string>();
        string[] mybuf = {};
        byte[] mybytes1 = { };

        int j = 0;
        foreach (string n in ReadParts(strfile, "@")) {
                  stringlist.Add(n);  // каждый string ложу в List<string>, не знаю как забрать из цикла иначе :(
               //   mybuf = stringlist.ToArray();
        }

        mybuf = stringlist.ToArray(); //перевожу в массив
        int strBuf = mybuf.Length;
        int[] arr = new int[strBuf];

        for (int i = 0; i < strBuf; i++)
        {
           arr[i] = Convert.ToInt32(mybuf[i]);
           arr[i] = ((arr[i] / 1234567));    
        }

        // преобразовать int[] в byte[]
        mybytes1 = arr.Select(x => (byte)x).ToArray();

        using (FileStream fileStream = new FileStream(newPathFile, FileMode.CreateNew, FileAccess.Write))
        {
          fileStream.Write(mybytes1, 0, mybytes1.Length); 
          fileStream.Flush();
          fileStream.Close();
        }}

IEnumerable ReadParts(strfile, "@") собственно открывает BinaryReader, читает каждый байт, находит метку, создает готовый объект string:

        static IEnumerable<string> ReadParts(string path, string separator)
    {
        using (var fstream = File.OpenRead(path))
        using (var reader = new BinaryReader(fstream))
        {
            StringBuilder sb = new StringBuilder(50);
            char[] buffer = new char[32000];
            int idx = 0;
            while (fstream.Position < fstream.Length)
            {
                int charsRead = reader.Read(buffer, 0, buffer.Length);
                for (int i = 0; i < charsRead; i++)
                {
                    char ch = buffer[i];
                    if (ch == separator[idx])
                    {
                        idx++;
                        if (idx == separator.Length)
                        {
                            yield return sb.ToString();
                            sb.Clear();
                            idx = 0;
                        }
                    }
                    else
                    {
                        sb.Append(ch);
                    }
                }
            }

            if (sb.Length > 0) yield return sb.ToString();
        }
    }

Проблема заключается в том, что я не уверен, хватит ли памяти у StringBuilder и List stringlist, т.к. мой IEnumerable оказался чрезвычайно медленной вещью. Обработка файла в 700Мб занимает видимо бесконечное время. Зацикленности в отладчике не выявил, но я не дождался :(

Я написал еще одну "корявую" реализацию без IEnumerable, просто используя циклы, но она успешно обрабатывает файлы до ~160Мб и я не смог побороть проблему с таким участком кода:

FileStream fs = new FileStream(newstrFile, FileMode.Open, FileAccess.Read);
        long nBytesRead = fs.Length;
        int nLines = (int)(nBytesRead / nCols) + 1;   
        string[] lines = new string[nBytesRead]; 

т.к. если файл больше ~160Мб - то размера string[] lines просто не хватает :(

Вопросы сформировались такие: как можно заменить мой IEnumerable на что-то более быстрое? Или мой подход к проблеме вовсе некорректен? И по последнему кусочку кода как обойти MemoryException на участке

string[] lines = new string[nBytesRead];

и что можно/нужно изменить, чтобы этот вариант не кушал там много памяти?

Ниже привожу полную реализацию:

void DeadSecDecoding(string strfile)
    {

        string newstrFile = strfile;

        string newPathFile = pathFile + ".crypto.txt";

        int nCols = 16;
        FileStream fs = new FileStream(newstrFile, FileMode.Open, FileAccess.Read);
        long nBytesRead = fs.Length;
        int nLines = (int)(nBytesRead / nCols) + 1;   
        string[] lines = new string[nBytesRead];    // соответственно MemoryException
        int nBytesToRead = 0;
        int[] arr = { };
        byte[] mybytes1;
        string[] lines2 = { };
        int strBuf = lines.Length;
        bool check = false;
        int i = 0;

        @m1:
        if (check == false){

            for (i = 0; i < nBytesRead; i++)
            {
                StringBuilder nextLine = new StringBuilder();
                nextLine.Capacity = 4 * nCols;
                for (int j = 0; j < nBytesRead; j++)
                {
                    int nextByte = fs.ReadByte();
                    nBytesToRead++;
                    char nextChar = (char)nextByte;  // получаем байт
                    if (nextChar == '@') { break; }
                    if (nextByte < 0) { check = true; goto m1; }

                    nextLine.Append(nextChar);
                }
                lines[i] = nextLine.ToString();

            }

        }
        fs.Flush();
        fs.Close();

        string[] copied = (from elem in lines where elem != null select elem).ToArray();

        int copyLenght = copied.Length;
        int[] arrNew = new int[copyLenght];

        for (int j = 0; j < copyLenght; j++)
        {
            arrNew[j] = Convert.ToInt32(copied[j]);
            arrNew[j] = ((arrNew[j] / 1234567)); 
        }
        mybytes1 = arrNew.Select(x=>(byte)x).ToArray();

        using (FileStream fileStream = new FileStream(newPathFile, FileMode.Create, FileAccess.Write))
                {
                    fileStream.Write(mybytes1, 0, mybytes1.Length);
                    fileStream.Flush();
                    fileStream.Close();
                }

    }

p.s. прошу не пинать ногами, C# изучаю всего 5-6 месяцев :-(

4
  • 2
    А зачем так делать? читаете до символа пёсика, делите и записываете в другой файл. Повторяете процесс пока не закончится файл. И памяти вам надо не много для этого. 7 июл 2016 в 5:39
  • Так будет очень медленно, т. к. для каждого байта придется открывать поток на запись.
    – Jack Black
    7 июл 2016 в 6:02
  • 1
    Бред. Открываете 2 файла, читаете, пишите. А в конце алгоритма закрываете оба файла. Поверьте, это будет быстрее Вашего варианта. 7 июл 2016 в 6:29
  • И правда бред,когда увидел простое решение. А я там пыжусь с буферами, как на ассемблере
    – Jack Black
    7 июл 2016 в 9:25

1 ответ 1

3
using (var inputStream = File.OpenRead(inputFilename))
using (var reader = new BinaryReader(inputStream))
using (var outputStream = File.OpenWrite(outputFilename))
{
    var sb = new StringBuilder();
    while (reader.PeekChar() != -1)
    {
        char c;
        sb.Clear();

        while (reader.PeekChar() != -1 && (c = reader.ReadChar()) != '@')
        {
            sb.Append(c);
        }

        int number = int.Parse(sb.ToString()) / 1234567;

        byte b = (byte)number; // Усечение инта до байта - возможна потеря данных!

        outputStream.WriteByte(b);
    }
}

Собственно, это весь код, выполняющий вашу задачу.

Как уже было сказано в комментариях, в начале открываем потоки на чтение и запись. Из одного читаем данные, преобразовываем в нужный вид, записываем в другой.

Кодировки используются по умолчанию. Вероятно, вам нужно явно указать кодировки.

Обратите внимание на предупреждение: в примере входных данных есть число 827463637 - при делении на 1234567 получится значение 670, которое не умещается в байт. При приведении к типу byte получится значение 158. Но, думаю, у вас это просто для примера такие вычисления, разберётесь.


Этот способ потребляет очень мало памяти. Однако будет ли он максимально быстрым? Сложно сказать. Если чтение и запись происходит на один и тот же физический носитель наподобие жёсткого диска, то головка будет часто перемещаться туда-сюда, что может негативно повлиять на общую производительность. Также сильная фрагментация диска может сказаться.


Потестировал я разные варианты кода. Как ни странно, основным тормозом оказался двукратный вызов метода PeekChar(). Если условия в циклах while заменить на следующие:

while (inputStream.Position != inputStream.Length)

    while (inputStream.Position != inputStream.Length && (c = reader.ReadChar()) != '@')

то получается примерно полуторакратное ускорение. В интернетах пишут, что PeekChar() должен декодировать текст в соответствии с используемой кодировкой, что весьма трудоёмко. В то время как сравнение длины потока с текущей позицией существенно проще (хотя, опять же, это может зависеть от типа потока: например, поток, возвращаемый WebRequestом, может не предоставлять данные о своей длине).

Перебрав варианты чтения данных кусками (получалось громоздко), я в итоге пришёл к такому простому коду (внутри using'ов):

var sb = new StringBuilder();
try
{
    while (true)
    {
        char c = reader.ReadChar();

        if (c != '@')
            sb.Append(c);
        else
        {
            int number = int.Parse(sb.ToString()) / 1234567;
            byte b = (byte)number;
            outputStream.WriteByte(b);
            sb.Clear();
        }
    }
}
catch (EndOfStreamException) { }

if (sb.Length > 0)
{
    int number = int.Parse(sb.ToString()) / 1234567;
    byte b = (byte)number;
    outputStream.WriteByte(b);
}

Работает во много раз быстрее первых двух.

Использование исключения для выхода из цикла может и не совсем верно идеологически, но оправдывается простотой и эффективностью кода.

Последний if можно убрать, если данные в файле завершаются символом-сепаратором @.


Придумал я лаконичный способ кода с буфером.

Итак, встречайте: безоговорочный лидер в номинации "Скорость"! Чтение большими кусками намного эффективнее. Задано 16k. Пробовал другие размеры - разница в пределах погрешности измерения.

using (var inputStream = new FileStream(inputFilename, FileMode.Open, FileAccess.Read))
using (var reader = new BinaryReader(inputStream))
using (var outputStream = new FileStream(outputFilename, FileMode.Create, FileAccess.Write))
{
    var sb = new StringBuilder();

    while (reader.PeekChar() != -1)
    {
        char[] chars = reader.ReadChars(1024 * 16);

        foreach (char c in chars)
        {
            if (c != '@')
                sb.Append(c);
            else
            {
                int number = int.Parse(sb.ToString()) / 1234567;
                byte b = (byte)number;
                outputStream.WriteByte(b);
                sb.Clear();
            }
        }
    }

    if (sb.Length > 0)
    {
        int number = int.Parse(sb.ToString()) / 1234567;
        byte b = (byte)number;
        outputStream.WriteByte(b);
    }
}
6
  • Думаю, проблема с тем же диском нивелируется буферизацией в рантайме, да и у самой ОС.
    – VladD
    7 июл 2016 в 9:18
  • С диском большой проблемы не будет, буферизация и программная и аппаратная, у нынешних HDD кэш уже на десятки МБ пошел, а у SSD вообще адресный доступ. Но тем не менее диск таки будет главным "тормозом" программы, но практически незаметным. ~800 МБ построчно, с промежуточной обработкой данных, в 2 стрима (чтение, запись) на HDD перезаписывается менее минуты, точно не измерял.
    – rdorn
    7 июл 2016 в 23:03
  • Вот кстати о производительности. Я сравнил по скорости свой "корявый вариант" и предложенный. На вход подал файл 103Мб. Мой корявый обработал этот объем за 1,12 мин. Ваш вариант - 10,4 мин. Видимо это всё таки потому, что конструкция outputStream.WriteByte(b); пишет каждый байт, разве что не открывает заново поток. У меня пишется сразу весь массив mybytes1. Возможно дело в этом. А вот за конструкцию while (reader.PeekChar() != -1 && (c = reader.ReadChar()) != '@') { sb.Append(c); } вам отдельное спасибо.
    – Jack Black
    8 июл 2016 в 3:21
  • Файлы более крупные, от 320Мб обрабатываются как в моём IEnumerable<string> ReadParts - вечность :)
    – Jack Black
    8 июл 2016 в 5:14
  • @JackBlack - см. обновление. Прошу потестировать. 8 июл 2016 в 12:13

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.