0

Генератор выдает в конвейер данные:

generator | tee -a ~/result.txt

и выдает результат построчно в виде XXX_ZZZ на сохранение. Имеется другой текстовый документ ~/text.txt, в котором строки вида XXX-YYY (при этом XXX без дубликатов все разные).

Как включить в конвейер процесс поиска по сгенеренным XXX и частичному совпадению их из ~/text.txt и выдать объединенный полный результат вида XXX-YYY_ZZZ на сохранение в ~/result.txt?

7
  • sed умеет брать данные из второго файла. Спецификатор r смотрите.
    – 0andriy
    2 июн 2018 в 10:13
  • можно было бы воспользоваться программой join, но ей требуются отсортированные строки. а чтобы отсортировать, надо получить весь список строк. ваш генератор выдаёт конечный набор строк? 2 июн 2018 в 13:53
  • @alexanderbarakin из вопроса действительно неочевидно, должен ли сохранится порядок в выводе.
    – 0andriy
    2 июн 2018 в 14:26
  • text.txtможет быть сортированный. Я не знаю, нужна ли тут сортировка, так как все значения и XXX и YYY и ZZZ строго уникальны, нужно всего лишь чтобы при выдаче генератором определенного XXX_ZZZ обратившись к документу text.txt, найти там точно такой же XXX (там такой один), с которым в одной строке находится ему соответствующий YYY (тоже уникальный) и уже вот эту строку XXX-YYY добавить к сгенерированному XXX_ZZZ и выдать в конечный документ result.txt полную строку XXX-YYY_ZZZ. Результат result.txt не сортирован и его сортировка мне не нужна.
    – TWOfish
    2 июн 2018 в 15:33
  • join вероятно подойдет, но как это вписать в трубу? По сути, не имеет большого значения, в какой последовательности группы символы между собой XXX YYY ZZZ будут выдаваться к конечном результате, главное, чтобы вписать их в результат в одну строку. Генератор выдает конечные данные, то есть никаких последующих действий не будет, нужно лишь добавить соответствующее значение YYY из text.txt
    – TWOfish
    2 июн 2018 в 17:21

1 ответ 1

1

можно воспользоваться программой join из набора программ gnu/coreutils:

$ join файл1 файл2

файлы должны быть отсортированы. при необходимости это можно сделать «на лету» — программа отлично работает с подстановкой процессов, осуществляемой оболочкой. вместо любого из файлов (или обоих сразу) можно указать:

<(команда аргументы)

также вместо одного из файлов можно указать - — данные будут браться из stdin:

$ программа аргументы | join - файл2

ещё один важный момент: разделитель полей в обоих файлах должны быть один и тот же. указать разделитель можно опцией -t разделитель, изменить разделитель в одном (или обоих) файле можно с помощью вышеупомянутой подстановки процесса, сделав подмену, например, с помощью программы sed.


конкретно в изложенном случае, когда в качестве первого файла используется вывод некоего генератора, который выдаёт неотсортированный список строк с разделителем _, а второй файл тоже неотсортирован и имеет разделитель -, можно применить сразу всё предложенное выше:

$ генератор | sort | join -t _ - <(sed 's/-/_/' файл2 | sort)
3
  • Предложенное решение работает, спасибо. Но могут быть заморочки связанные с сортировками текстов. Сортировка должна быть выполнена по общему полю. В хелпе join рекомендуется сортировка sort -k 1b,1 . Так же, могут быть заморочки с сортировкой из-за locale, возможно порой пригодится сортировка LC_ALL=C sort -k 1b,1 (предварительно импортировав локаль LC_ALL=C)
    – TWOfish
    5 июн 2018 в 13:33
  • 1. объединение же вам требуется по первым полям, потому никаких доп. манипуляций с номерами полей при сортировке не требуется. 2. достаточно, чтобы локаль для сортировки и объединения была одной и той же, а выбор её повлияет лишь на порядок строк в результате объединения, поэтому, если порядок строк в результате не имеет значения, не имеют смысла и манипуляции с локалью. 5 июн 2018 в 13:37
  • если всё-таки будете изменять локаль, то сделать это надо либо перед выполнением команды, экспртировав нужную переменную окружения, либо для каждой программы отдельно (потому что они выполняются отдельными процессами). примерно так: | LC_ALL=... sort | LC_ALL=... join <(... | LC_ALL=... sort) ... 5 июн 2018 в 13:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.