1

Суть задачи: Оптимизировать код, что бы: можно было удалять дубликаты строк в файлах - от 300 мегабайт до 2 гигабайт.

Цель, которую хотела бы достигнуть:

Быстрое удаление дубликатов строк в текстовом файле.

Ориентировочная скорость обработки файл в 300 мегабайт - 20 - 30 секунд.

Обработка файлов от 300 мегабайт до 2 гигабайт.

Мой, медленный вариант:

   var
  f1:TextFile;
  st:string;
  s:TStringList;

begin
  AssignFile(F1,'1.txt');
  reset(f1);
  s:=TStringList.Create;
    While not EOF(f1) do
      begin
        readln(F1,st);
        If s.IndexOf(st)<0 then s.Add(st);
      end;

  s.SaveToFile('2.txt');
  s.Free;
  CloseFile(f1);
end;
7
  • 1
    Можно попробовать bitbucket.org/kami-soft/utils/src/… , функция DoRemoveDuplicates.
    – kami
    18 апр 2018 в 4:54
  • @kami, А как её подключить к кнопке? Заранее благодарна. 18 апр 2018 в 8:36
  • 1
    я думаю, надо посмотреть, какие параметры принимает функция (они достаточно говорящие)... и вызвать ее с нужными данными в OnClick кнопки. Единственное что... LineFeedStr скорее всего нужно выставить в #13#10, а DefaultEncoding = в TEncoding.UTF8 (наверное)
    – kami
    18 апр 2018 в 11:24
  • @kami, Я начинающая в этом деле, сможете помочь ? 18 апр 2018 в 11:25
  • @kami, если бы смогла бы то не спрашивала :(. к сожалению не получается... 18 апр 2018 в 11:36

3 ответа 3

4

Можно попробовать нативные средства TStringList борьбы с дубликатами.
К сожалению, они работают только для сортированных списков:

var
  f1:TextFile;
  st:string;
  s:TStringList;

begin
  AssignFile(F1,'1.txt');
  reset(f1);
  s:=TStringList.Create;
  s.Sorted:=True;
  s.Duplicates:=dupIgnore;
    While not EOF(f1) do
      begin
        readln(F1,st);
        s.Add(st);
      end;

  s.SaveToFile('2.txt');
  s.Free;
  CloseFile(f1);
end;

Если порядок требуется сохранить, придётся самостоятельно реализовывать этот механизм...

var
  f1:TextFile;
  st:string;
  s:TStringList;
  dict:TDictionary<string, boolean>;

begin
  AssignFile(F1,'1.txt');
  reset(f1);
  s:=TStringList.Create;
  dict:=TDictionary<string, boolean>.Create
    While not EOF(f1) do
      begin
        readln(F1,st);
        if not map.ContainsKey(st) then
        begin
          dict.Add(st, true);
          s.Add(st);
        end;
      end;

  dict.Free;

  s.SaveToFile('2.txt');
  s.Free;

  CloseFile(f1);
end;
1
  • К сожалению при использовании такого подхода - большие файлы не тянет. Но все же за помощь спасибо. 3 мая 2018 в 7:20
3
+300

Для быстрого сравнения строк можно воспользоваться функционалом словаря (TDictionary), используя строки в качестве ключей. Чтобы сравнение ключей происходило без учета регистра передадим словарю реализацию сравнения ключей без учета регистра (TOrdinalIStringComparer). Если строки нужно сравнивать с учетом регистра, то в конструктор словаря ничего не передаем, и тогда будет использована реализация сравнения по умолчанию (с учетом регистра). Поскольку значения для ключей в словаре нам не нужны, то в качестве типа для значения выберем, например, Integer. Таким образом, тип для нашего словаря получается таким: TDictionary<string, Integer>.

uses
  System.SysUtils,
  System.Generics.Collections,
  System.Generics.Defaults,
  System.Classes;

var
  s: string;
  InputFile: TStreamReader;
  OutputFile: TStreamWriter;
  StrComparer: TOrdinalIStringComparer;
  StrDictionary: TDictionary<string, Integer>;

begin
  InputFile := TStreamReader.Create('1.txt', TEncoding.Default);
  try
    OutputFile := TStreamWriter.Create('2.txt', False, TEncoding.Default);
    try
      OutputFile.BaseStream.Size := 0; // Rewrite(f2);

      // сравниватель строк без учета регистра
      StrComparer := TOrdinalIStringComparer.Create; 
      try
        StrDictionary := TDictionary<string, Integer>.Create(StrComparer);
        try
          while not InputFile.EndOfStream do
          begin
            s := InputFile.ReadLine;

            if not StrDictionary.ContainsKey(s) then
            begin
              // Поскольку нужен только ключ, значение может быть любым
              StrDictionary.Add(s, 0);

              // если перемешивать не нужно, запишем значение сразу
              OutputFile.WriteLine(s);
            end;
          end;

        // если нужно перемешать, запишем значения после того, как все просмотрели
        //  for s in StrDictionary.Keys do
        //    OutputFile.WriteLine(s);
        finally
          StrDictionary.Free;
        end;
      finally
        StrComparer.Free;
      end;
    finally
      OutputFile.Free;
    end;
  finally
    InputFile.Free;
  end;
end;

UPD

Файл размером 330 МБ (7,3 миллиона строк), при записи результата после обработки (вариант с перемешиванием), обработался за, примерно, 37 секунд. При записи результата во время обработки (без перемешивания) - за, примерно, 36 секунд. Итоговый файл получился размером 280 МБ (6,7 миллиона строк).

Можно попробовать ускорить процесс распараллелив его на разные потоки, но это вряд ли даст прирост в разы, поскольку много времени уйдет на согласование работы этих потоков. И еще одно "узкое место" - это операции чтения/записи на диск.

UPD2

Попробовал читать файл с HDD и писать результат на SSD. Получилось на 1 секунду быстрее.

2
  • 1
    Читаю и пишу на один и тот же SSD. 3 мая 2018 в 6:17
  • 1
    @Татьяна, рад помочь :) 3 мая 2018 в 8:37
2

Сделала вот так, правда работает очень медленно. Может, у кого? еще есть идеи - как сделать побыстрее ?

var
  f1:TextFile;
  st:string;
  s:TStringList;

begin
  AssignFile(F1,'1.txt');
  reset(f1);
  s:=TStringList.Create;
    While not EOF(f1) do
      begin
        readln(F1,st);
        If s.IndexOf(st)<0 then s.Add(st);
      end;

  s.SaveToFile('2.txt');
  s.Free;
  CloseFile(f1);
end;

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.