Есть папка с большим набором текстовых файлов, название этой папки: "база" (ее объем более 2ГБ). И есть текстовый файл не такой большой.
Задача: удалить повторяющиеся строки из первого файла и сохранить измененный вариант отдельно.
Проблема - я пробовал сделать это с помощью .Distinct();
перед этим загрузив текстовый файл в память, но у меня программа зависала и вылетала, как я понимаю из за недостатка памяти. Так же пробовал обойти файлы циклом но сталкивался с той же проблемой.
Подскажите алгоритм, который бы не загружал так сильно память. И хорошо бы на С# или С подобных языках.
Мне нужно удалить совпадения между текстовым файлом №1(новый файл) и набором текстовых файлов в папке(база)
Пример содержимое первого файла
**name@mail.ru**
imay@gmail.com
asdas@gmail.com
**name123@mail.ru**
... содержимое фалов из памки
файл №N1
Host@mail.ru
imay@gmail.com
**name@mail.ru**
mesdm@gmail.com
... файл №N2
grgrg@mail.ru
**name123@mail.ru**
asfe@gmail.com
cvdd@gmail.com
... так вот из первого файла нужно удалить эти строки name@mail.ru name123@mail.ru так как они уже есть в папке и сохранить отдельно
сама суть задачи проверить если эти строки в базе если нету то сохранить уникальные строки отдельно
База
, в которой много текстовых файлов, ее вес 2гб, далее вы в этой папке хотите открыть определенный текстовый файл и удалить в нем повторяющиеся строки, а затем сохранить это в отдельный файл. Так? Какого размера файл для чтения дубликатов? – EvgeniyZ 22 сен '17 в 20:15