1

Я работаю над улучшением нижепреведенного AWK скрипта (обычно работающего внутри bash скрипта), который извлекает числа из выбранных столбцов файла input.csv, а также выполняет некоторые простые стат операции с этими числами, в конечном итоге сохраняя результаты в виде 1 строки в файл output.csv:

awk -F ", *" '                  # set field separator to comma, followed by 0 or more whitespaces
FNR==1 {
   if (n) {                     # calculate the results of previous file
      m = s / n                 # mean
      var = s2 / n - m * m      # variance
      if (var < 0) var = 0      # avoid an exception due to round-off error
      mean[suffix] = m          # store the mean in an array
      rmsd[suffix] = sqrt(var)
      lowest[suffix] = min      # lowest dG
      highest[suffix] = fourth  # dG in cluster with highest pop
   }
   prefix=suffix=FILENAME
   sub(/_.*/, "", prefix)
   sub(/\/[^\/]+$/, "", suffix)
   sub(/^.*_/, "", suffix)
   s = 0                        # sum of $3
   s2 = 0                       # sum of $3 ** 2
   n = 0                        # count of samples
   min = 0                      # lowest value of $3 (assuming all $3 < 0)
   max = 0                      # highest value of $2 (assuming all $2 > 0)
}
FNR > 1 {
   s += $3
   s2 += $3 * $3
   ++n
   if ($3 < min) min = $3       # update the lowest value
   if ($2 > max) {
      max = $2                  # update popMAX
      fourth = $3               # update the value of dG corresponded to topPOP
   }
}
END {
  if (n) {                     # just to avoid division by zero
   m = s / n
   var = s2 / n - m * m
   if (var < 0) var = 0
   mean[suffix] = m
   rmsd[suffix] = sqrt(var)
   lowest[suffix] = min     # most negative dG
   highest[suffix] = fourth  # dG in a cluster with pop(MAX)
  }
   print "Lig(CNE)", "dG(min)", "dG(popMAX)", "dG(mean)"
   for (i in mean)
      printf "%s %.2f %.2f %.2f\n", i, lowest[i],  highest[i], mean[i]
}'  input.csv > output.csv

При работе с input.csv (показанным ниже) мой скрипт извлекает числа из третьего столбца (dG) : i) беря минимальное значение в третьем столбце (dG (min), которое всегда находится на первой строке с ID = 1 ), а также значение dG, соответствующее максимальному номеру во втором столбце (POPmax):

# input.csv from the folder 10V1_cne_lig12
ID, POP, dG
1, 142, -5.6500 # this is dG min to be extracted
2, 10, -5.5000
3, 2, -4.9500
4, 150, -4.1200 # this is dG corresponded to pop(MAX) to be extracted

в итоге, скрипт сохраняет результаты в другом многоколоночном файле output.csv, содержащем часть имени каждого обработанного CSV (с соответствующим префиксом, используемым в качестве идентификатора строки), а также информацию о значениях dG (min), dG (popMAX), а также среднее значение, рассчитанное для всех чисел в 3-м столбце (dG):

# output.csv
Lig(CNE)    dG(min) dG(popMAX) dG(mean)
lig12       -5.65   -4.12     −5.055

Таким образом, dG (min) - это число из третьей колонки $ 3 (dG) из строки с ID = 1 и dG (popMAX) соответствует значению dG, найденному в строке, которая имеет максимальное значение во второй колонке $ 2 ( POP)

Мне требуется модерницировать AWK код моего скрипта, с целью добавления двух дополнительных столбца в output.csv, содержащих информацию о 2-м столбце input.csv (POP) для каждого соответствующего значения dG, так что файл выхода должен содержать следующую информацию

# output.csv
Lig(CNE).   dG(min) POP(min)    dG(popMAX) POP(max) dG(mean)
lig12       -5.65   (142)       -4.12      (150)    −5.055

Попытаясь тривиально подставить числа из второй колонки используя

'{print $2}'

привело к несоответствиям между числами из %2 и %3, относительно сходного input.csv (например, скрипит взял число из 2-го столбца из строки, не соотносящейся к dG (min) и т. д.)

7
  • 1
    так просто, для тренировки, набросал на более подходящем для обработки статистических данных языке: gist на github-е 10 мая 2021 в 12:21
  • ОК спасибо! А это можно использовать как часть баш скрипта, для подстановки нужных файлов в петле в этот скрипт? изначально использовался AWK поскольку я запускаю shell скрипт который лурит входные файлы итп
    – user442677
    10 мая 2021 в 12:52
  • 1
    программа rscript — такой же интерпретатор, как и программы bash и awk. только каждый из этих интерпретаторов интерпретирует свой собственный язык. rscript — интерпретатор языка r 10 мая 2021 в 14:10
  • 1
    установить интерпретатор надо. в debian-основных дистрибутивах он входит в пакет r-base-core. в других дистрибутивах/системах пакет называется как-нибудь иначе. 10 мая 2021 в 15:36
  • 1
    можно docker-образом воспользоваться. поместите script.r и ваши *.csv в текущий каталог и запустите $ docker run -it --rm -v $(pwd):/f dongzhuoer/rlang:base sh -c 'cd /f && Rscript script.r *.csv' 10 мая 2021 в 17:21

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.