1

У меня есть текстовый файл url.txt содержащий URL на новой строке и ничего больше.

https://ru.stackoverflow.com
https://stackoverflow.com
https://meta.stackoverflow.com

Мне нужно получить HTTP-код каждого URL.

curl -ILks https://ru.stackoverflow.com | awk '/^HTTP/{print $2}'
curl -ILks https://stackoverflow.com | awk '/^HTTP/{print $2}'
curl -ILks https://meta.stackoverflow.com | awk '/^HTTP/{print $2}'

И получить на выходе такой ответ

200 https://ru.stackoverflow.com
200 https://stackoverflow.com 
200 https://meta.stackoverflow.com

Помогите написать изящный скрипт, который получает на вход файл url.txt и в stdout выводит нужный ответ.

Как в bash перебирать построчно текстовый файл испльзуя из него строку в кач-ве аргумента и можно ли это сделать с помощью awk и/или sed?

2 ответа 2

5

Получить нужный формат вывода можно и без обработчиков текста вроде awk или sed, curl подразумевает формировать ответ программы:

-w '%{http_code} %{url_effective}'

для того что бы сделать скрипт считывающий из файла url и возвращал данные в stdout достаточно сделать цикл:

while read url; do
    curl -o /dev/null -s -w '%{http_code} %{url_effective}\n' "$url"
done < url.txt

http_code - возвращает код ответа HTTP
url - используемый при передаче URL, появился в версии curl 7.75.0
url_effective - возвращает последний полученный url, следует учитывать при использовании опции -L

Если версия curl ниже 7.75.0 и нужны адреса из url.txt, то цикл можно сделать следующим образом:

while read url; do
    curl -o /dev/null -s -w "%{http_code} $url\n" "$url"
done < url.txt

Где мы просто подставляем переменную считанную из файла построчно

3
  • Благодарю! Уточните, пожалуйста, первую строку кода while read url; do как мне инициализировать переменную url? В место неё можно путь к файлу подставить или $1 если я его передаю параметром? Commented 10 июл. 2023 в 11:12
  • 1
    @ИльяИндиго url в примерах приведенных мной считывается из файла url.txt который передает содержимое для построчного считывания тут done < url.txt и вы так же можете поставить вместо него $1 что бы вызывать скрипт с параметром.
    – ipatev_nn
    Commented 10 июл. 2023 в 11:50
  • Благодарю! Не в первый раз уже, путаюсь в bash-конструкциях. Commented 10 июл. 2023 в 11:55
1
awk '{system("curl -o /dev/null -ILksw \"%{http_code} \" "$0";echo "$0)}' url.txt

п.с

если порядок вывода проверки URL не имеет значения то можно еще добавить ключ -Z, --parallel что ускорит получения значений:

awk '{system("curl -o /dev/null -IZLksw \"%{http_code} \" "$0";echo "$0)}' url.txt

а для еще большего ускорения можно передавать адреса через xargs а для awk оставить тока окончательную фильтрацию:

xargs <url.txt curl -IZLksw '+ %{http_code} %{url_effective}\n' |awk '$1=="+"{print $2,$3}'

последний вариант по сравнению с первым у меня отрабатывает в два раза быстрее. ( можно примерно оценить с помощью утилиты time (...) )

1
  • Благодарю! Именно то, что я хотел! :-) Commented 10 июл. 2023 в 11:19

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.