1

Есть файл, в котором последовательно записаны несколько файлов различной длины.
Известны размеры этих файлов. Можно ли их считать поблочно, не создавая буфер размером во весь файл?

Пример:

// Запись
Stream stream = new FileStream("data.bin");
foreach (FileStream fs in files.Select(path => new FileStream(path, FileMode.Open))) {
    fs.CopyTo(stream);
    fs.Close();
}

// Чтение
foreach (CFileHeader cFileHeader in header.FileHeaders) {
    FileStream fs = new FileStream("data/" + cFileHeader.Name, FileMode.Create);
    byte[] buffer = new byte[cFileHeader.Size];
    stream.Read(buffer, 0, buffer.Length);
    fs.Write(buffer, 0, buffer.Length);
    fs.Close();
}
2
  • Не совсем понятен вопрос. Вы хотите прочитать все куски последовательно? Или кусок нужной длины начиная с нужного смещения? И то и другое просто.
    – VladD
    Commented 19 апр. 2015 в 14:13
  • хочу считать определенный файл из потока, но поблочно, например по 1мб. потому что если файлы большого размера, такой способ чтения, как в вопросе, занимает очень много оперативки (что не есть хорошо). а так как файлы различной длинны, то чтение по блокам цепляет кусок от следующего файла. Commented 19 апр. 2015 в 14:21

1 ответ 1

2

Вот процедуры чтения буфера из потока:

byte[] ReadExactly(Stream s, int n)
{
    var buf = new byte[n];
    var remaining = n;
    var pos = 0;
    while (remaining > 0)
    {
        var nread = s.Read(buf, pos, remaining);
        if (nread == 0) // конец файла
            throw new FileFormatException("EOF encountered");
        remaining -= nread;
        pos += nread;
    }
    return buf;
}

Чтобы читать данные из середины, вам ещё нужен Skip:

void Skip(Stream s, int n)
{
    if (s.CanSeek)
    {
        s.Seek(n, SeekOrigin.Current);
    }
    else
    {
        const int bufsize = 65536;
        byte[] buf = new byte[bufsize];
        while (n > 0)
            n -= s.Read(buf, 0, Math.Min(n, bufsize));
    }
}

Теперь всё просто.

var partNo = 4;
var bufSize = 1024 * 1024; // 1Мб
using (var s = File.OpenRead("data.bin"))
{
    var sizeToSkip = header.FileHeaders.Take(partNo).Sum(h => h.Size);
    Skip(s, sizeToSkip);

    var remainingBytes = header.FileHeaders.ElementAt(partNo).Size;
    while (remainingBytes > 0)
    {
        var buf = ReadExactly(s, Math.Min(remaining, bufSize));
        // обработать
        // размер буфера равен bufSize за исключением, может быть, последнего
        // куска (где он может быть меньше)
        remainingBytes -= buf.Length;
    }
}
3
  • спасибо! чет я сам не додумался) Commented 19 апр. 2015 в 14:34
  • Пожалуйста! Кстати, тут есть тонкости, которые обычно не учитываются. Например, Stream.Read может вернуть меньше, чем запрошено, если чтение не из файла а, например, из интернета (NetworkStream).
    – VladD
    Commented 19 апр. 2015 в 14:37
  • Да, это я знаю) Commented 19 апр. 2015 в 14:38

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.