3

Имеется текстовый файл содержащий всего одну строку, но размер файла 1 Гб. Каким образом прочитать файл целиком? File.ReadAllLines, File.ReadLines, File.ReadAllText завершаются с ошибкой о недостаточности памяти. На выходе нужно получить строку (объект типа string) с содержимым из файла. Файл одно строчный, но строка очень длинная.

11
  • дополните вопрос необходимой информацией. Сейчас ответить на ваш вопрос однозначно невозможно. Для чего вам прочитать весь файл? что хотите получить на выходе? и т.д.
    – Dmitry
    23 ноя 2015 в 13:38
  • File.ReadLines — правильный путь. Ваша ошибка после — например, если вы накапливаете строки в памяти.
    – VladD
    23 ноя 2015 в 13:39
  • Файл с бинарными данными или текст?
    – Kromster
    23 ноя 2015 в 13:41
  • 3
    Тогда никак. Если вам нужно в память загрузить строку, которая больше объёма доступной памяти, тогда гаиньки. Читайте по символам.
    – VladD
    23 ноя 2015 в 13:47
  • 2
    Если задача стоит "обработать строку", то открываете stream и не ReadToEnd, а читаете и на лету обрабатываете. Если же задача "загрузить в память", то можно создать массив нужной длины и потом заполнить его или посимвольно или блоками и тем самым избежать накладных расходов обычного чтения, что убивают доступную память.
    – vitidev
    23 ноя 2015 в 14:19

3 ответа 3

3

Нашел подробное описание причин этой ошибки вот здесь: ссылка. Всем спасибо за помощь, в данный момент использую такой код:

char[] buffer = new char[104857600];
string text = "";
FileStream fstream = new FileStream("document.txt", FileMode.Open, FileAccess.Read);
using (var sr = new StreamReader(fstream))
{
    int bytesRead = 0;
    while ((bytesRead = sr.Read(buffer, 0, buffer.Length)) > 0)
    {
        text = new string(buffer);
        // обработка текста
    }
}
2
  • У вас действительно xml? Тогда не лучше ли применить XmlReader? 24 ноя 2015 в 7:22
  • Не xml, простой текст, без тэгов, расширение не соответствуют содержимому. Поправил пример кода.
    – Ti Fix
    24 ноя 2015 в 8:05
1

Соберите приложение под AnyCPU и снимите в свойствах проекта чекбокс "Prefer 32 Bit". Пропишите в конфиге приложения

<configuration>
  <runtime>
    <gcAllowVeryLargeObjects enabled="true" />
  </runtime>
</configuration>

Это снимет большую часть ограничений по памяти, и вашу строку можно будет спокойно прочитать целиком.

3
  • Мне кажется, нужно скорее пнуть автора в сторону поточной обработки. Тем более, на 32-битной системе будет всё равно проблема.
    – VladD
    23 ноя 2015 в 16:30
  • 1
    @VladD возможно. но вытаскивать из него детали о настоящей задаче не хочется. Пусть сам осознает, что подходит к решению задачи не с той стороны :)
    – user177221
    23 ноя 2015 в 16:56
  • И в бесконечный цикл это. )
    – Nick Volynkin
    23 ноя 2015 в 20:34
0

Используй значит MemoryMappedFile.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.