1

Есть папка с большим набором текстовых файлов, название этой папки: "база" (ее объем более 2ГБ). И есть текстовый файл не такой большой. Задача: удалить повторяющиеся строки из первого файла и сохранить измененный вариант отдельно. Проблема - я пробовал сделать это с помощью .Distinct(); перед этим загрузив текстовый файл в память, но у меня программа зависала и вылетала, как я понимаю из за недостатка памяти. Так же пробовал обойти файлы циклом но сталкивался с той же проблемой. Подскажите алгоритм, который бы не загружал так сильно память. И хорошо бы на С# или С подобных языках. Мне нужно удалить совпадения между текстовым файлом №1(новый файл) и набором текстовых файлов в папке(база) Пример содержимое первого файла

**na[email protected]**
[email protected]
[email protected]
**[email protected]**

... содержимое фалов из памки

файл №N1

[email protected]
[email protected]
**[email protected]**
[email protected]

... файл №N2

[email protected]
**[email protected]**
[email protected]
[email protected]

... так вот из первого файла нужно удалить эти строки [email protected] [email protected] так как они уже есть в папке и сохранить отдельно

сама суть задачи проверить если эти строки в базе если нету то сохранить уникальные строки отдельно

3
  • Нечего не понял, у вас есть папка База, в которой много текстовых файлов, ее вес 2гб, далее вы в этой папке хотите открыть определенный текстовый файл и удалить в нем повторяющиеся строки, а затем сохранить это в отдельный файл. Так? Какого размера файл для чтения дубликатов?
    – EvgeniyZ
    22 сен 2017 в 20:15
  • 1
    "удалить повторяющиеся строки из первого файла" - из первого файла, это из какого? Тот файл первый, который в папке по счету первый?
    – user256147
    22 сен 2017 в 22:40
  • первый файл это новый файл не из базы. Мне нужно удалить совпадения между текстовым файлом №1 и набором текстовых файлов в папку Пример содержимое первого файла [email protected] [email protected] [email protected] [email protected] содержимое фалов из памки файл №N1 [email protected] [email protected] [email protected] [email protected] файл №N2 [email protected] [email protected] [email protected] [email protected] так вот из первого файла нужно удалить эти строки [email protected] [email protected] так как они уже есть в папке и сохранить отдельно
    – Saind
    23 сен 2017 в 11:49

1 ответ 1

0

Пробуйте так:

string firstFilePath = "..."; // Путь к "первому" файлу
string outFilePath = "..."; // Путь к выходному файлу с уникальными строками
string baseDirPath = "..."; // Путь к папке "База"
string baseFilesPattern = "..."; // Шаблон имен файлов в папке "База"
// Заносим все строки из "первого" файла в HashSet
var set = new HashSet<string>(File.ReadLines(firstFilePath));
// Итератор по всем строкам из "Базы",
//  обратите внимание - он "ленивый" и будет загружать в память только
//  по одной строке за раз, материализовать его не нужно(!)
//  и использовать именно File.ReadLines() (!), а не File.ReadAllLines()
var baseStrings = Directory.EnumerateFiles(baseDirPath, baseFilesPattern)
                           .SelectMany(file => File.ReadLines(file));
// Перебираем все строки и удаляем совпадения из HashSet
foreach (var s in baseStrings) set.Remove(s);
// Сохраняем строки
File.WriteAllLines(outFilePath, set);

Для этого способа потребуется только столько памяти, сколько занимает первый файл

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.