Есть текстовый файл размером 4 гигабайта. Примерно 100 миллионов строк. Все данные структурированы построчно. Требуется обработать этот файл по определенному алгоритму и в результате сформировать новый файл. Вопрос заключается в следующем, как эффективнее работать с этим файлом :
- Последовательно читать файл слайсами, работая с ними, так до конца
- Загрузить файл в память и работать со всем данными
Что будет эффективнее с точки зрения производительности? Сам думаю, что вариант 2, так как слышал о барьерах в памяти, о том, что лучше хранить идентичные данные в соседних слотах, нежели прыгать туда-сюда, да и ядру проще выполнять идентичные операции, нежели выполнять разные задачи.
File.ReadLines
(неReadAllLines
!).