1

Есть такой код:

void DeadSecCoding(string strfile)
    {
using (FileStream fs = new FileStream(strfile, FileMode.Open,        FileAccess.Read, FileShare.ReadWrite,1024*1024,true))
        using (BinaryReader sr = new BinaryReader(fs))
        {
            byte byte1;
            long nBytesRead = fs.Length;

                while (nBytesRead >0)
                {
                    byte1 = sr.ReadByte();

                    int i = Convert.ToInt32(byte1);

                    i *= 1234567;

                    using (StreamWriter writer = new StreamWriter(strfile+".mql",true))
                    {
                        writer.WriteAsync(i.ToString()+"@");
                    }  nBytesRead--;

                }
        }

    }

Его смысл: из потока читаем байт, конвертируем его в int, умножаем int на число, записываем в текстовый файл, преобразовывая int в string с добавление метки. Т.о.выходной файл имеет содержимое(обычный текст):

5372635@5272736@2437362@827463637@262627@ 

И так далее. Все записывается в одну строку. Код работает очень медленно, т.к.постоянно открывается StreamWriter. Как вынести запись в файл за пределы конструкции while таким образом, чтобы при преобразовании большого файла на входе не словить MemoryException?

Я думаю организовать некий промежуточный буфер, записывать туда 8*1024 int (или byte) и в цикле foreach делать запись через StreamWriter.

Может у кого есть идеи как реализовать нечто подобное или идеи как сделать лучше?

P.s. У меня есть кое-какие мысли, но хочется послушать чужое мнение. Спасибо!

2
  • writer.WriteAsync без await просто неправильно.
    – VladD
    6 июл 2016 в 9:31
  • А сори, был await, потерялся при копировании :-)
    – Jack Black
    6 июл 2016 в 9:42

3 ответа 3

3

Попробуйте как-то так:

using (var infile = File.OpenRead(strfile))
using (var outfile = File.CreateText(strfile + ".mql"))
{
    var buf = new byte[65536];
    while (true)
    {
        var actuallyRead = infile.Read(buf, 0, buf.Length);
        if (actuallyRead == 0)
            break;
        var results = buf.Take(actuallyRead)
                         .Select(b => ((int)b * 1234567).ToString() + "@");
        outfile.Write(string.Concat(results));
    }
}

Для async-варианта внутреннюю часть замените на:

        var actuallyRead = await infile.ReadAsync(buf, 0, buf.Length);
        if (actuallyRead == 0)
            break;
        var results = buf.Take(actuallyRead)
                         .Select(b => ((int)b * 1234567).ToString() + "@");
        await outfile.WriteAsync(string.Concat(results));
2
  • А использование Select(b => ((int)b * 1234567).ToString() + "@"); сильно скажется на производительности?
    – Jack Black
    6 июл 2016 в 9:46
  • @JackBlack: Не должно, узкое место у вас диск.
    – VladD
    6 июл 2016 в 10:42
2
const int ReadBufferSize = 64 * 1024;
const int WriteBufferSize = 64 * 1024;

var readBuffer = new byte[ReadBufferSize];
var writeBuffer = new StringBuilder(WriteBufferSize);

using (var fs = new FileStream(strfile, FileMode.Open))
using (var sw = new StreamWriter(strfile + ".mql", true))
{
    while (true)
    {
        writeBuffer.Clear();        
        int read = fs.Read(readBuffer, 0, ReadBufferSize);
        if (read == 0)
            break;

        for (int i = 0; i < read; ++i) {
            writeBuffer.Append((int)readBuffer[i] * 1234567);
            writeBuffer.Append('@');
        }

        sw.Write(writeBuffer.ToString());
    }
}

Узким местом в любом случае будет жесткий диск.

1
  • Главное чтобы памяти хватало. Через FileStream должны будут ходить файлы от 2Гб и выше.
    – Jack Black
    6 июл 2016 в 10:04
1

Полез рыться в старые исходники, у себя же нашел еще реализацию:

void DeadSecCoding(string strfile) 
    {
       using (FileStream  fs = new FileStream(strfile, FileMode.Open, FileAccess.Read))
  {
       using (StreamWriter  sw = new StreamWriter(strfile + ".dat", true))
       {

           long nBytesRead = fs.Length;
           int nBytesToRead = 0;

           for (int i = 0; i < nBytesRead; i++)
           {
               int nextByte = fs.ReadByte();

               nextByte *= 1234567;

               sw.Write(nextByte.ToString() + '~'); 
               nBytesToRead++;

           }
       }
       fs.Close();
  }

Потестировал его на больших входных данных - MemoryException не словил :-) Нашел бы раньше и вопрос бы даже не возник

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.