2

Здравствуйте,

Я новичок с GNU Parallel и буду рад если укажите на ошибки и некоторые недопонимания. Я прочел мануал но там говорится в основном про одноэтапные действие в которых нужно указать определенное "действие" в синтаксисе GNU Parallel (распаковка, перемещение) и ничего не указано про многоэтапные шаги, когда нужно выполнить несколько действий не меняя (существенно) при этом кода (если конечно такое вообще возможно)

Возможно ли реализовать параллельную обработку, в коде, который ее по факту не поддерживает. Но в нем есть loop. То есть, имеются входящий список файлов в любом формате и в определенный момент в коде доходит дело до петли. (пример кода: 138 строчка GMT)

Короче говоря возможно ли подобие параллельной обработки (не изменяя при этом кода существенно или только около 138 строчки), когда просто каждый файл одновременно начинает обрабатываться независимо от того какие действия прописаны в этом моменте в коде? (и даже многоэтапные действия, то есть когда например нужно добавить файл в архив и потом переместить и потом что-то еще и т.д.)

# Любые действия и обязательно "открытие или проверка наличия" списка файлов
# loop
#
  foreach line (`awk '{print $0}' $1`)
# Любые действия

Может быть это можно реализовать используя другой инструмент помимо GNU Parallel? Буду рад любой помощи! Спасибо заранее

3
  • сделайте функцию из тела цикла, и вызывайте её программой parallel. 16 ноя 2016 в 6:03
  • Не могли бы чуть более подробнее (новчиок же) и лучше конечно пример синтаксиса. Пример кода который я кинул вызывается так intf_tops.csh intf.in batch_tops.config и совершенно не понятно как вызывать его например с GNU Parallel. И нужно чтобы именно этот момент который дан наверху начиная со 138 "разделялся". Спасибо вам большое. 16 ноя 2016 в 6:37
  • Да и если сделать параллельным весь код то это вероятно может вызвать проблемы. Нужно именно в момент петли 16 ноя 2016 в 6:44

1 ответ 1

0

короткий ответ:

малыми изменениями в вашем случае распараллеливания (по крайней мере программой gnu/parallel) не добиться.

длинный ответ:

если бы использовался интерпретатор bash, то конструкцию на языке интерпретатора csh:

foreach line (`команда с аргументами`)
  какие-то команды
end

звучащую на языке интерпретатора bash так:

for line in `команда с аргументами`
  какие-то команды
done

можно было бы распараллелить примерно так:

fff() {
  какие-то команды
}
export -f fff
parallel line={} fff ::: `команда с аргументами`

но это сработало бы только в том случае, если бы внутри тела цикла не использовались переменные, определённые до начала цикла в этом же скрипте.

потому что программа gnu/parallel запустит новые процессы, которые не будут «знать» об этих локальных переменных.


следующий момент — в вашем примере используется интерпретатор csh, у которого нет поддержки функций:

Missing features most commonly cited are the lack of ability to manipulate the stdio file handles independently and support for functions.

т.е. весь код из цикла, для возможности его вызова программой gnu/parallel, надо выносить в отдельный файл.

10
  • То есть по сути вынос в отдельный файл этого, момента решит проблему? Вы описали что надо сделать при bash, при csh проще переписать все я так понял? 16 ноя 2016 в 12:50
  • @user2899758, я же, вроде, написал в ответе: функций у csh нет, поэтому команды, содержащийся внутри цикла, надо будет выносить в отдельный файл. и его уже и вызывать программой parallel, вставленной вместо всего цикла. если внутри цикла не используются переменные, описанные до цикла, то должно заработать. 16 ноя 2016 в 12:51
  • @user2899758, я дополнил ответ конструкцией на csh, аналогичной конструкции на bash. и export в случае csh, понятно, не будет нужен. 16 ноя 2016 в 12:55
  • Спасибо большое. Все понятно. 16 ноя 2016 в 13:22
  • Не могли бы вы подсказать как я бы мог внести переменные в петлю? Или я могу добавить их в отдельный файл (который оговаривался выше) перед петлей? Или надо именно в ней указывать? 17 ноя 2016 в 7:44

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.