0

Как из файла1, содержащего строки вида почта:имя:фамилия:возраст, удалить те строки, которые содержатся в файле2, где указана просто почта

Нашёл решение, но оно мне не нравится, слишком долгое и записывает файл миллион раз - боюсь ссд угробит ))

for a in `cat файл2`; do sed -i -e "/$a/d" файл1; done
6
  • Запиши в /tmp, а потом закинь на ssd.
    – don Rumata
    Commented 11 февр. 2017 в 11:30
  • может есть решение поизящнее ?
    – 3amunyk
    Commented 11 февр. 2017 в 11:35
  • Ну как ещё вариант - не использовать -i внутри цикла. А выплёвывать в файл уже после всего for'a. Вроде должно проканать. Проверить не на чем.
    – don Rumata
    Commented 11 февр. 2017 в 11:44
  • попробывал - почему то тоже не то - стал созадвать файл и его размер рос как на дрожях
    – 3amunyk
    Commented 11 февр. 2017 в 12:08
  • @donRumata, тогда в результат попадут множество раз дублированные строки из исходного файла. Commented 11 февр. 2017 в 12:18

1 ответ 1

4

можно за один проход по файл1 сделать:

$ sed -i -f <(...) файл1

где ... — команда, формирующая список регулярных выражений. регулярные выражения можно использовать ваши же — /искомая строка/d, а можно чуть уточнить — /^искомая строка:/d — добавив привязку к началу строки и к символу :.

т.е., вместо ... предлагаю использовать что-то вроде sed 's,^,/^,;s,$,:/d,' файл2

итог:

$ sed -i -f <(sed 's,^,/^,;s,$,:/d,' файл2) файл1

если в файлах такие строки:

$ cat файл1
почта1:имя1:фамилия1:возраст1
почта2:имя2:фамилия2:возраст2
почта3:имя3:фамилия3:возраст3
почта4:имя4:фамилия4:возраст4
почта5:имя5:фамилия5:возраст5
$ cat файл2
почта2
почта5

то результат будет такой:

$ sed -i -f <(sed 's,^,/^,;s,$,:/d,' файл2) файл1
$ cat файл1
почта1:имя1:фамилия1:возраст1
почта3:имя3:фамилия3:возраст3
почта4:имя4:фамилия4:возраст4

на всякий случай уточню: при использовании опции -i программы sed временный файл на самом деле всё-таки создаётся, в него и поступают результаты обработки исходного файла. а по окончании обработки исходный файл удаляется, а временный переименовывается в «исходное» имя.

6
  • Тестирую, блин как же долго, файл1 = 1гиг файл2= 300 метров, понимаю что быстро не варик, смущает другое, почему он создаёт файл который растёт по 1 килобайту в секунду, что это за файл такой ? результатирующий ? или буфер ?
    – 3amunyk
    Commented 11 февр. 2017 в 13:04
  • @3amunyk, я же специально описал в конце ответа смысл опции -i Commented 11 февр. 2017 в 13:07
  • @3amunyk, подозреваю, что во втором файле есть дубликаты. оптимальнее их удалить до формирования регулярных выражений: $ sed -i -f <(sort -u файл2 | sed 's,^,/^,;s,$,:/d,') файл1 Commented 11 февр. 2017 в 13:11
  • дубликаты были очищены сразу. даже если и есть дубли, вы считаете что ихнее отсутствие быстрее справится с таким объёмом ?
    – 3amunyk
    Commented 11 февр. 2017 в 13:36
  • -i -- это эквивалент sed -e '...' < in > out && mv -f out in. Хотя, надо запускать strace sed -i ... и смотреть, что и в какой последовательности вызывается. В разных ОС появляются интересные под час системные вызовы, да и сами файловые системы не стоят на месте.
    – 0andriy
    Commented 15 февр. 2017 в 23:47

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.