1

имеется файл со строками, среди которых попадаются дубли.

как средствами утилит gnu/coreutils из операционной системы gnu (совместимость со стандартом posix не требуется) удалить дубли, не нарушив порядок строк?

2 ответа 2

5

например, можно воспользоваться такой конструкцией:

$ nl исходный-файл | sort -k 2 -u | sort -n | cut -f 2- > отсортированный-файл

пояснения:

  • nl — выдаст в stdout строки из stdin (или прочитанные из файлов, переданных аргументами), добавив в начале строк последовательные нумера; номер и остальное содержимое по умолчанию будет разделять символ табуляции
  • sort -k 2 -u — отсортирует переданный список по второму и последующим (-k 2) полям (поля по умолчанию разделяет символ табуляции) и удалит дубликаты (-u) в том же самом втором поле (не обращая внимания на первое); просто «удалять дубликаты» без сортировки программа sort «не умеет»
  • sort -n — отсортирует список в числовой (-n) последовательности; так как в начале строк находятся номера, то получится список строк, отсортированных в том же порядке, что и «в самом начале» (только уже с пропусками)
  • cut -f 2- — оставит только поля со второго «и дальше» (-f 2-); поля по умолчанию, как обычно, отделяются символом табуляции

доп. чтение:

$ info coreutils

если программа info не установлена, можно почитать документацию онлайн или отдельные man-страницы (но там, обычно, меньше информации):

$ man nl
$ man sort
$ man cut
3

Вариант с awk

$ awk '!a[$0]++' исходный-файл

Здесь каждая строка файла становится ключом для ассоциативного массива a. Если строка встретилась первый раз, то массив ещё не содержит такой элемент, и отрицание ! дает для такой строки true, т.е. она проходит на выход. Если же строка встречается повторно, то мы уже имеем ненулевой элемент с ключом-строкой в массиве (обратите внимание на постинкремент), соответственно выражение вычислиться как false и строка будет проигнорирована.

3
  • хороший вариант. отсутствием программы awk в gnu/coreutils, думаю, можно пренебречь. 22 июн 2016 в 13:37
  • @alexanderbarakin действительно нету, почему то казалось что awk из coreutils. 22 июн 2016 в 13:54
  • 1
    в операционной системе gnu есть, конечно, своя реализация awk, но это отдельный пакет, с coreutils непосредственно не связанный. 22 июн 2016 в 13:57

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.