1

Как скачать файл NCat'ом подобно Wget'у? Попалась встроеная линукс система без WGET и CURL есть только NCat Нужно написать однострочник для скачивания файла (pastebin.com/raw.php?i=kqqfkeDg) по http протоколу, что бы потом вставить его в shell скрипт. В интерактивном режиме работает

root@debi:~# ncat pastebin.com 80 
GET /raw.php?i=kqqfkeDg HTTP/1.1
Host: pastebin.com
User-Agent: Mozilla/5.0

HTTP/1.1 200 OK
....

А вот однострочник получает в ответ 0 байт

root@debi:~# echo -e "GET /raw.php?i=kqqfkeDg HTTP/1.1\nHost: pastebin.com\nUser-Agent: Mozilla/5.0\n\n" | ncat pastebin.com 80 -v
Ncat: Version 6.49BETA4 ( http://nmap.org/ncat )
Ncat: Connected to 190.93.243.15:80.
Ncat: 78 bytes sent, 0 bytes received in 0.29 seconds.

Где я ошибся и как правильно?

1
  • Если вам дан исчерпывающий ответ, отметьте его как верный (галка напротив выбранного ответа). 8 окт 2015 в 14:09

2 ответа 2

2

Где я ошибся и как правильно?

согласно rfc2616, разделителем строк в заголовке http-запроса служит пара символов crlf (как в ms/dos и ms/windows). да и user-agent в данном случае не нужен:

$ echo -e "GET /raw.php?i=kqqfkeDg HTTP/1.1\r\nHost: pastebin.com\r\n\r\n" | \
 ncat pastebin.com 80 -v

пример запроса к сайту, использующему (согласно этой информации) инфраструктуру cloudflare:

$ echo -e "GET / HTTP/1.1\r\nHost: stackoverflow.com\r\n\r\n" | \
 ncat stackoverflow.com 80

к слову: на всякий случай лучше убедиться, что echo -e действительно интерпретирует пару символов \n в символ перевода строки, и вы передаёте программе ncat несколько строк, а не одну.

2
  • \nHTTP/1.1 обычно через пробел пишут версию протокола. В любом случае при таком запросе CloudFlare вместо файла возвращает html с ошибкой. В том что неткэт 2 перевода строки передаёт я убеждался выводя echo -e "\n\n" на экран
    – mikserok
    8 окт 2015 в 12:53
  • я обновил ответ. 8 окт 2015 в 13:27
1

ncat (версии 6.47) из пакета nmap видимо содержит ошибку и полностью закрывает сокет как только достигает конца файла stdin. Обойти это можно поставив sleep после echo:

( echo -e "GET /raw.php?i=kqqfkeDg HTTP/1.1\nHost: pastebin.com\n" ; sleep 1 ) | ncat pastebin.com 80 -v

Что правда не гарантирует приём полного файла при неожиданных сетевых задержках.

nc.traditional и nc.openbsd из пакетов netcat-traditional и netcat-openbsd имеют опцию -qN заставляющую ждать данные от сервера N секунд после отправки последнего байта из stdin. При N<0 ожидание неограниченное, причём закрывать сокет наполовину они не умеют, поэтому стоит использовать старую версию протокола HTTP 1.0, чтобы сервер закрыл соединение после передачи файла. Кроме того это позволит избежать анализа Transfer-Encoding: chunked.

echo -e "GET /raw.php?i=kqqfkeDg HTTP/1.0\nHost: pastebin.com\n" | nc -q-1 pastebin.com 80 -v

nc.traditional v1.10-41 как-то неправильно обрабатывает параметр опции -q, если он больше 0.

Второй \n в echo не нужен, так как он добавится сам. Не смотря на требование стандарта многие сервера не требуют \r, так что работать будет и так, но можно добавить опцию -C.

busybox nc ведёт себя так же, как и ncat -- тоже требует обхода преждевременного закрытия сокета.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.