Для быстрого сравнения строк можно воспользоваться функционалом словаря (TDictionary
), используя строки в качестве ключей. Чтобы сравнение ключей происходило без учета регистра передадим словарю реализацию сравнения ключей без учета регистра (TOrdinalIStringComparer
). Если строки нужно сравнивать с учетом регистра, то в конструктор словаря ничего не передаем, и тогда будет использована реализация сравнения по умолчанию (с учетом регистра). Поскольку значения для ключей в словаре нам не нужны, то в качестве типа для значения выберем, например, Integer
. Таким образом, тип для нашего словаря получается таким: TDictionary<string, Integer>
.
uses
System.SysUtils,
System.Generics.Collections,
System.Generics.Defaults,
System.Classes;
var
s: string;
InputFile: TStreamReader;
OutputFile: TStreamWriter;
StrComparer: TOrdinalIStringComparer;
StrDictionary: TDictionary<string, Integer>;
begin
InputFile := TStreamReader.Create('1.txt', TEncoding.Default);
try
OutputFile := TStreamWriter.Create('2.txt', False, TEncoding.Default);
try
OutputFile.BaseStream.Size := 0; // Rewrite(f2);
// сравниватель строк без учета регистра
StrComparer := TOrdinalIStringComparer.Create;
try
StrDictionary := TDictionary<string, Integer>.Create(StrComparer);
try
while not InputFile.EndOfStream do
begin
s := InputFile.ReadLine;
if not StrDictionary.ContainsKey(s) then
begin
// Поскольку нужен только ключ, значение может быть любым
StrDictionary.Add(s, 0);
// если перемешивать не нужно, запишем значение сразу
OutputFile.WriteLine(s);
end;
end;
// если нужно перемешать, запишем значения после того, как все просмотрели
// for s in StrDictionary.Keys do
// OutputFile.WriteLine(s);
finally
StrDictionary.Free;
end;
finally
StrComparer.Free;
end;
finally
OutputFile.Free;
end;
finally
InputFile.Free;
end;
end;
UPD
Файл размером 330 МБ (7,3 миллиона строк), при записи результата после обработки (вариант с перемешиванием), обработался за, примерно, 37 секунд. При записи результата во время обработки (без перемешивания) - за, примерно, 36 секунд. Итоговый файл получился размером 280 МБ (6,7 миллиона строк).
Можно попробовать ускорить процесс распараллелив его на разные потоки, но это вряд ли даст прирост в разы, поскольку много времени уйдет на согласование работы этих потоков. И еще одно "узкое место" - это операции чтения/записи на диск.
UPD2
Попробовал читать файл с HDD и писать результат на SSD. Получилось на 1 секунду быстрее.