2

Требуется оставить строку только с первым вхождением, все остальные строки удалить. Казалось бы, sed 's/pattern//2g' должно это сделать, однако не работает (sed --version sed (GNU sed) 4.2.2). Пример:

cat text
123
123
123
234
234
345

требуется получить возврат:

123
234
234
345

Однако, при cat text | sed 's/123//2g' получаю возврат исходного файла без изменений. А при только g удаляются все и почему-то остаются пустые строки:

cat text | sed 's/123//g'



234
234
345

Как правильно реализовать с помощью sed ? Спасибо.

5
  • возможно потребуется удалить все дубликаты и тогда лучше использовать uniq
    – user341547
    24 ноя 2019 в 18:18
  • я упростил задачу в вопросе, на самом деле исходный текст состоит из нескольких полей, где дубликаты лишь частично совпадают паттернами, потому простое решение типа sort - u или uniq или аналоги не сработают
    – TWOfish
    24 ноя 2019 в 18:24
  • 1
    В этом как раз поможет sort где -t указать разделите полей, -k выбрать столбцы по которым выполняем сверку и ключ -u вывести уникальные записи по этим полям. К примеру для строку 123,321,222 нам нужно удалить дубли второго столбца, то команда будет выглядеть так ...| sort -t"," -k'2,2' -u, попробуйте может это как раз то что нужно, в ключе -k указывается диапазон столбцов для проверки.
    – user341547
    24 ноя 2019 в 18:29
  • да, это работает, спасибо! Но все же если кто знает ответ на sed, отпишитесь, бывают и такие ситуации.
    – TWOfish
    24 ноя 2019 в 19:21
  • 1
    sed '$!N; /^\(123\)\n\1$/!P; D' - нашел на просторах, возможно поможет.
    – user341547
    24 ноя 2019 в 19:37

1 ответ 1

2

Решение с awk подойдёт?

$ awk '/123/ { if (!x) { print; x = 1; } }; !/123/ { print; }' file.txt

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.