Есть папка с большим набором текстовых файлов, название этой папки: "база" (ее объем более 2ГБ). И есть текстовый файл не такой большой.
Задача: удалить повторяющиеся строки из первого файла и сохранить измененный вариант отдельно.
Проблема - я пробовал сделать это с помощью .Distinct();
перед этим загрузив текстовый файл в память, но у меня программа зависала и вылетала, как я понимаю из за недостатка памяти. Так же пробовал обойти файлы циклом но сталкивался с той же проблемой.
Подскажите алгоритм, который бы не загружал так сильно память. И хорошо бы на С# или С подобных языках.
Мне нужно удалить совпадения между текстовым файлом №1(новый файл) и набором текстовых файлов в папке(база)
Пример содержимое первого файла
**na[email protected]**
[email protected]
[email protected]
**[email protected]**
... содержимое фалов из памки
файл №N1
[email protected]
[email protected]
**[email protected]**
[email protected]
... файл №N2
[email protected]
**[email protected]**
[email protected]
[email protected]
... так вот из первого файла нужно удалить эти строки [email protected] [email protected] так как они уже есть в папке и сохранить отдельно
сама суть задачи проверить если эти строки в базе если нету то сохранить уникальные строки отдельно
База
, в которой много текстовых файлов, ее вес 2гб, далее вы в этой папке хотите открыть определенный текстовый файл и удалить в нем повторяющиеся строки, а затем сохранить это в отдельный файл. Так? Какого размера файл для чтения дубликатов?