Вопросы с меткой [awk]
Вопросы о текстовом редакторе awk
117
вопросов
0
голосов
4
ответа
31
показ
Удаление символа перевода строки в bash
Всем привет. Оговорюсь сразу, я не программист, только учусь.
Задача следующая, нужно результат curl запроса записать в переменную, затем извлечь строку которая находится между двумя шаблонами, тоесть ...
1
голос
2
ответа
127
показов
Перебрать файл с URL и получить HTTP-код для каждого URL
У меня есть текстовый файл url.txt содержащий URL на новой строке и ничего больше.
https://ru.stackoverflow.com
https://stackoverflow.com
https://meta.stackoverflow.com
Мне нужно получить HTTP-код ...
2
голоса
1
ответ
62
показа
Как при помощи bash команд распарсить xml файл с логами и найти конкретные логи по заданным параметрам?
Файл с логами содержит следующую структуру:
[24/11/11 09:49:57:538 EST] DEBUG
<?xml version="1.1" encoding="UTF-8" ?>
<Request session="asdfadfasas3432423ewd3da"...
0
голосов
0
ответов
37
показов
Получить номер кейса, если строка выше содержит определенный текст
У меня есть файл. Как получить номер от testIT?
Если строка выше содержит текст «/system-err» или «/failure», то значит что тест прошел неудачно и в файл(fail) записывается айди теста.
Если строка ...
0
голосов
1
ответ
46
показов
AWK невозможно безопасно использовать системным администраторам [закрыт]
Простой пример. Нужно посчитать сумму чисел из входного потока. Откуда пользователь узнает, что awk собран с поддержкой больших чисел?
Получается, что легко можно получить некорректные данные. Как ...
0
голосов
2
ответа
68
показов
Помогите составить регулярку для awk, чтобы распарсить лог nginx
Задача состоит в том чтобы распарсить логи nginx и достать от туда список IP в порядке убывания по количеству совпадений. И количество совпадений. Такого формата:
2344 111.111.111.111
304 222.222.222....
0
голосов
3
ответа
143
показа
Изменить имена файлов в текущей директорий в нижний регистр. Как?
Как переименовать файлы в нижний регистр ? Используя при этом find и awk
Пример (before):
./AaA
./aAa
./ ...
(after):
./aaa
./aaa
/ ...
0
голосов
1
ответ
73
показа
Извлечь из большого файла по многострочному паттерну (sed/grep/perl/awk)
Есть большой лог-файл (>10гб), в котором, помимо всего прочего, пишутся sip-логи, формата:
... другие логи ...
<--- SIP read from UDP:10.10.143.143:7000 --->
INVITE sip:[email protected] ...
0
голосов
1
ответ
35
показов
При помощи awk/регулярных выражений получить все строки где мин.цена > 10
Есть определенный текстовый документ
Мин цена
100890!ACE TENNIS NET !58 !46.4 !01-JAN-89
100860!ACE TENNIS RACKET I !35 !28 !01-...
0
голосов
1
ответ
39
показов
распределение чисел через awk-скрипт
У меня есть файл, где рандомно указано 100 чисел.
Файл имеет вид:
cat file
24
78
55
39
83
96
79
4
Мне нужно с помощью awk-скрипта вывести сколько чисел входит в каждый десяток, пример вывода:
0 - 9 : ...
0
голосов
1
ответ
80
показов
Как найти определенные числа
У меня есть файл, где указаны рандомно 100 чисел:
24 78 55 39 83 96 79 4 16 81 71 33 99 26 44 11 41 14 71 36 87 14 47 44 86 98 52 57 10 37 38 33 14 92 72 96 87 50 99 3 3
70 36 30 95 79 40 36 92 11 71 ...
0
голосов
1
ответ
33
показа
Помогите достать все совпадения из регулярного выражения
Есть проект, у него используется i18 (библиотека для ключей перевода).
Функция перевода выглядит так:
t('NavMenu.toBeClient')
t('NavMenu.text')
Мне нужно в один текстовый документ вывести ключи:
...
0
голосов
1
ответ
85
показов
sed, awk - выбрать строки, в которых каждая последующая цифра больше предыдущей
Файл с буквенно-цифровыми строками известной определенной длины, но позиции цифр различны:
Z2aO9p6u8
4s5yI7H89
e0Dt14g67
3fR46i7I8
R2c0X346d
4U45v7gD9
желаемый тут выход:
4s5yI7H89
e0Dt14g67
...
1
голос
1
ответ
22
показа
Помогите с компактным выводом в файл(ы) "выхлопа" от masscan?
Имеется обычный выходной файл masscan'a(oL), мне необходимо вывести в отдельный файл каждый хост с его(уникальным)портом.
(bash скрипт приветствуется)
Output:
open tcp 25 1.1.1.1 1153568607
open tcp ...
0
голосов
1
ответ
50
показов
bash, как и чем переименовать группу файлов?
Подскажите код, переименовать группу файлов?
К примеру, сейчас так:
Princess of the Dawn - Accept.mp3
Cradle Of Love - Billy Idol.mp3
Sweet Sixteen - Billy Idol.mp3
Livin On A Prayer - Bon Jovi.mp3 ...
1
голос
1
ответ
31
показ
Merge entries in two files by column [bash, sed, awk]
Есть два файла:
$> cat 1.file $> cat 2.file
ABC-123;x; ABC-123;y;100;
XYZ-987;x; XYZ-987;y;299;
ABC-456;x; XYZ-987;y;290;
ABC-456;...
1
голос
1
ответ
209
показов
Удалить числа после знака / включая сам знак
День добрый, столкнулся с такой проблемой. Пишу скрипт на bash и скрипт получает параметр IP-адреса вида
10.0.0.1/255.255.255.255
Подскажите, как можно оставить только ту часть, где указан IP.
0
голосов
1
ответ
82
показа
Помогите распарсить логи
Всем привет. Помогите из строки вытащить значения IP для src и dst, а также значение product. Понимаю ,что надо использовать sed и awk. Но мозгов не хватает пока. А нужно , как обычно, вчера. Заранее ...
0
голосов
1
ответ
167
показов
Что происходит с моим JDK
Помогите разобраться!
oem@oem-GL72-6QD:~$ echo $JAVA_HOME
/usr/lib/jvm/java-17-oracle
oem@oem-GL72-6QD:~$ update-java-alternatives -l
awk: cannot open /usr/lib/jvm/*.jinfo (No such file or ...
0
голосов
1
ответ
599
показов
вставить символ в определенную позицию с конца строки в bash
Не могу справиться с простой вроде задачей. В Bash имеется вывод неких команд в виде числовой строки. Требуется поставить точку в строку вывода в нужную позицию отсчитывая её от конца строки (например ...
1
голос
1
ответ
63
показа
Добавить разделить между группами файлов
Сейчас у менять есть такой скрипт:
find path -type f -exec md5sum {} + | uniq -D -w32
Он выводит все файлы с одинаковой md5 суммой
Пример вывода:
5f0650b247a646355dfec2d2610a960c ./levik/1.txt
...
0
голосов
1
ответ
269
показов
Замена определённого значения в столбце на переменную
У меня есть файл, состоящий из множества строк и столбцов.( Ниже кусок в котором нужно произвести замену)
Нужно заменить значение в 5-ом столбике, на переменную(вводимую вручную (числа от 0 до ...
1
голос
1
ответ
415
показов
Команда awk для сравнения двух файлов
Хотелось бы разобраться в следующей конструкции:
awk 'NR==FNR{a[$1];next}!($1 in a){print $1}' 1.txt 2.txt
Вот то, что я, надеюсь, правильно понял:
{a[$1];}
это заполнение массива a первыми ...
0
голосов
2
ответа
81
показ
Как конвертировать awk скрипт в sh скрипт
Есть простенький скрипт для подсчета среднего значения в колонке:
cat /home/data/hotels.csv | awk -F, '{sum+=$18} END {print sum/NR}'
Я хочу создать файл process.sh, чтобы он делал то же, самое, и ...
1
голос
1
ответ
450
показов
Из одного файла-списка, удалить слова, находящиеся в другом файле, который используется как шаблон для удаления
Есть файл1.txt, который содержит слово1, слово2, слово3 и т.д, список длиный, по одному слову на строку. Есть файл2.txt, в нём тоже есть слова(1,2,3 и т.д.) с такой же огранизацией списка. Из файл1....
1
голос
0
ответов
31
показ
Что неверно в конструкции awk?
Пытаюсь получить последнее вхождения строки в файл. С помощью grep все ок:
grep "uid=0" /var/log/auth.log | tail -1
Jun 28 09:16:26 hostname systemd: pam_unix(systemd-user:session): session ...
0
голосов
0
ответов
169
показов
Сортировка таблицы bash awk
Помогите, пожалуйста с сортировкой таблицы. Должен получиться bash скрипт с использованием awk.
Нужно посчитать количество одинаковых вхождений для каждого из столбцов таблицы кроме 1,2,3 столбца и ...
0
голосов
1
ответ
191
показ
уникальные ip адреса
у меня есть файл в котором такие данные:
128.124.53.81 - - [17/May/2021:19:41:50 +0300] "GET /wp-content/uploads/2018/11/baner_PNU_1550x400-e1569401806743.jpg HTTP/1.1" 200 151360 "...
0
голосов
0
ответов
42
показа
AWK мат преобразования над многоколоночными данными
Я работаю с многоколоночными файлами следующего формата
# input.csv from the folder 10V1_cne_lig12
ID, POP, dG
1, 142, -5.6500 # this is dG(min)
2, 10, -5.5000
3, 2, -4.9500
4, 150, -4.1200
Требуется ...
1
голос
0
ответов
160
показов
AWK: скрипт по операции с многоколоночными данными
Я работаю над улучшением нижепреведенного AWK скрипта (обычно работающего внутри bash скрипта), который извлекает числа из выбранных столбцов файла input.csv, а также выполняет некоторые простые стат ...
1
голос
2
ответа
93
показа
Вычитание времени в строках, используя awk, perl или другой однострочник
Подскажите, пожалуйста, каким способом можно решить следующую задачу с помощью однострочника?
Задача в том, чтобы вычитать значение из первого столбца предыдущей стройки из первого столбца текущей ...
1
голос
2
ответа
323
показа
Регулярные выражения Bash
Возникла задача парсинга IP из строки в Bash скрипте. Пытаюсь сделать так:
echo "1.1.1.1 asdsad" | awk '/((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(25[0-5]|2[0-4]\d|[01]?\d\d?)/{print $0}'
В ...
0
голосов
1
ответ
47
показов
Вывести количество обращений к каждому домену на awk
У меня есть задача вывести все домены 2-го уровня net. (с этим я разобрался).
Но остановился на том, что мне нужно вывести ко-во обращений к этому домену и не знаю как это сделать.
Пытаюсь разобраться ...
0
голосов
0
ответов
50
показов
Удаление и запись с помощью awk (linux)
Есть текст (супер обычный, многострочный, разделён пробелами), который сохранен в случайном файле формата .txt. Как можно удалить из этого текста, например, пятое слово из каждой строки и вывести ...
0
голосов
1
ответ
34
показа
awk как справиться с quote?
надо поменять эту строку
hello name="hi">
на эту
hello name="hi" perm="fe">
пробвал это, но он постоянно ругается.
awk -f '/\">/ perm=\"fe\">'...
0
голосов
1
ответ
261
показ
Удалить строки в файлах определенной папки рекурсивно ранее определенной даты SED, AWK
подскажите как с помощью sed, awk удалить все что старше 7 денй рекурсивно во всех файлах , во всех папках /home/*/ *.log в файлах.
Формат файла такой:
2018-12-23 23:34:43.358 7 INFO
2019-06-12 12:33:...
1
голос
1
ответ
116
показов
Не экранируется точка в условии ИЛИ
Подскажите, пожалуйста. Не работает установка разделителя в awk. Выражение
echo один,два.три | awk -F"(\.)" '{print "1="$1, "2="$2}'
работает корректно, но если добавить ...
0
голосов
0
ответов
29
показов
Что за тип данных в awk?
Где найти описание типа данных. В скрипте bash использование примерно такой конструкции: words[$i] и написал с помощью неё скрипт, считающий количество слов в файле:
cat /d/Bulychev.txt | awk 'BEGIN {...
2
голоса
1
ответ
215
показов
Вопрос по форматированному выводу в awk
Помогите, пожалуйста, разобраться с логикой printf в awk. Например, a делаю форматированный вывод для -1 через %u.
$ gawk --bignum 'BEGIN {printf "%u\n", -1}'
> 18446744073709551615
...
2
голоса
1
ответ
30
показов
awk в bash выводит не то число
Подскажите, пожалуйста, почему на консоль выводится другое число?
$ awk 'BEGIN {print 1844674407370955161}'
1844674407370955264
1
голос
0
ответов
291
показ
Перевести строки в столбцы bash
Имеется скрипт который делает whois и вытаскивает нужные поля:
for as in $(cat as.txt):
do echo -e $as;
whois -h whois.radb.net -i origin $as > whoisas
fields=`cat whoisas | egrep 'route:|descr:...
1
голос
1
ответ
617
показов
Как вывести строку в обратном порядке с помощью awk?
Как вывести строку в обратном порядке с помощью awk?
3
голоса
2
ответа
42
показа
Как извлечь определенный фрагмент из поля в awk?
Существует файл с логами с названием PROXY.1.log, по нему надо определить 10 серверов (имя серверов в поле $7), с которых был получен наибольший объем информации (объем информации в поле $5)
Имена ...
0
голосов
1
ответ
359
показов
AWK, поменять местами слова в строке
Как поменять местами чётные и нечётные слова строке?
Только начал изучать awk.
for(i = 1; i <= length(string); i++){
if(string[i] == " "){
if(count == 1){
...
0
голосов
1
ответ
43
показа
Помогите сделать AWK конвеер
Задача такая, определить протоколы запросов использовавшихся при обращении к серверу. Для этого есть файл с записями такого формата. Помогите пожалуйста написат awk конвеер для этого.
121.180.116 - - ...
3
голоса
2
ответа
909
показов
Как получить из лога данные за последнее %date% время?
Есть система на Linux. В ней есть лог. Внутри этого лога есть записи в формате:
2020-04-24 14:00:58.870+0300:Some log
2020-04-24 14:00:58.872+0300:Some another log
2020-04-24 14:00:58.891+0300:And ...
3
голоса
1
ответ
35
показов
Определить 10 серверов Internet, с которых был получен наибольший объем информации, используя только AWK
Есть файл лога прокси сервера, по нему надо определить 10 серверов (имя серверов в поле $7), с которых был получен наибольший объем информации (объем информации в поле $5)
Имена серверов иногда ...
1
голос
1
ответ
196
показов
awk проверка поля на текст
Нужно проверить является ли поле строки текстом или числом. Я побывал это: if ($2 != /[0-9]/){...}else{...}, но такая конструкция некорректно срабатывает и работает только блок else. Я только ...
1
голос
1
ответ
175
показов
Передача параметра в awk скрипт
Надо написать скрипт, который обрабатывает определенный столбец, который предается параметром, но когда я передаю его в виде: awk -f script.awk text.txt 2 то выдает ошибку awk: cannot open 2., где 2 - ...
0
голосов
1
ответ
44
показа
удалить "пересечённые" дубликаты записей
Нужно удалить дубликаты записей, в которых пересекаются одинаковые значения из разных колонок.
К примеру вот что у меня есть (жирым я выделил ДУБЛИКАТЫ):
meshnode-01 meshnode-04 100/100
...