2

Есть текстовый файл размером 4 гигабайта. Примерно 100 миллионов строк. Все данные структурированы построчно. Требуется обработать этот файл по определенному алгоритму и в результате сформировать новый файл. Вопрос заключается в следующем, как эффективнее работать с этим файлом :

  1. Последовательно читать файл слайсами, работая с ними, так до конца
  2. Загрузить файл в память и работать со всем данными

Что будет эффективнее с точки зрения производительности? Сам думаю, что вариант 2, так как слышал о барьерах в памяти, о том, что лучше хранить идентичные данные в соседних слотах, нежели прыгать туда-сюда, да и ядру проще выполнять идентичные операции, нежели выполнять разные задачи.

1
  • 3
    Читать огромный файл в память — плохая идея. Обрабатывайте лучше построчно через File.ReadLines (не ReadAllLines!).
    – VladD
    Commented 11 февр. 2017 в 23:32

1 ответ 1

2

Хорошим тоном в работе с огромными файлами является частичное чтение файла.

Загружая весь файл, ты пожираешь соответствующее количество оперативки. Вспомни, когда ты запускаешь фильм в HD гиг так на 16, у тебя же не ест 16 гиг оперативки?

Вот здесь так же должно быть.

Если файл текстовый -- читай построчно:

string text = "";

using (StreamReader fs = new StreamReader(@"D:\1.txt"))
{
    while (true)
    {
        // Читаем строку из файла во временную переменную.
        string temp = fs.ReadLine();

        // Если достигнут конец файла, прерываем считывание.
        if(temp == null) break;

        // Пишем считанную строку в итоговую переменную или как нужно обрабатываем.
        text  += temp;
    }
 }

Иногда файл проще заменить на базу данных и обрабатывать записи в таблице. Если так решишь делать -- советую использовать какую-нить micro-ORM вроде PetaPoco.

Если файл НЕ текстовый, а битовый -- читай биты поблочно, если такое возможно.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.