Имеется текстовый файл содержащий всего одну строку, но размер файла 1 Гб. Каким образом прочитать файл целиком? File.ReadAllLines
, File.ReadLines
, File.ReadAllText
завершаются с ошибкой о недостаточности памяти. На выходе нужно получить строку (объект типа string
) с содержимым из файла. Файл одно строчный, но строка очень длинная.
-
дополните вопрос необходимой информацией. Сейчас ответить на ваш вопрос однозначно невозможно. Для чего вам прочитать весь файл? что хотите получить на выходе? и т.д.– Dmitry23 ноя 2015 в 13:38
-
File.ReadLines — правильный путь. Ваша ошибка после — например, если вы накапливаете строки в памяти.– VladD23 ноя 2015 в 13:39
-
Файл с бинарными данными или текст?– Kromster23 ноя 2015 в 13:41
-
3Тогда никак. Если вам нужно в память загрузить строку, которая больше объёма доступной памяти, тогда гаиньки. Читайте по символам.– VladD23 ноя 2015 в 13:47
-
2Если задача стоит "обработать строку", то открываете stream и не ReadToEnd, а читаете и на лету обрабатываете. Если же задача "загрузить в память", то можно создать массив нужной длины и потом заполнить его или посимвольно или блоками и тем самым избежать накладных расходов обычного чтения, что убивают доступную память.– vitidev23 ноя 2015 в 14:19
3 ответа
Нашел подробное описание причин этой ошибки вот здесь: ссылка. Всем спасибо за помощь, в данный момент использую такой код:
char[] buffer = new char[104857600];
string text = "";
FileStream fstream = new FileStream("document.txt", FileMode.Open, FileAccess.Read);
using (var sr = new StreamReader(fstream))
{
int bytesRead = 0;
while ((bytesRead = sr.Read(buffer, 0, buffer.Length)) > 0)
{
text = new string(buffer);
// обработка текста
}
}
-
У вас действительно xml? Тогда не лучше ли применить XmlReader? 24 ноя 2015 в 7:22
-
Не xml, простой текст, без тэгов, расширение не соответствуют содержимому. Поправил пример кода.– Ti Fix24 ноя 2015 в 8:05
Соберите приложение под AnyCPU и снимите в свойствах проекта чекбокс "Prefer 32 Bit". Пропишите в конфиге приложения
<configuration>
<runtime>
<gcAllowVeryLargeObjects enabled="true" />
</runtime>
</configuration>
Это снимет большую часть ограничений по памяти, и вашу строку можно будет спокойно прочитать целиком.
-
Мне кажется, нужно скорее пнуть автора в сторону поточной обработки. Тем более, на 32-битной системе будет всё равно проблема.– VladD23 ноя 2015 в 16:30
-
1@VladD возможно. но вытаскивать из него детали о настоящей задаче не хочется. Пусть сам осознает, что подходит к решению задачи не с той стороны :)– user17722123 ноя 2015 в 16:56
-