Разбираюсь с сокетами в Java и за одно с протоколом HTTP. Отправляю запрос к сайт, с целью получить его содержимое. Сервер отдает тело ответа в gzip.
В общем проблема в том, что данные читаются по байтово очень долго, от 2 до 5 минут.
c = new Socket("example.com", 80);
PrintStream out = new PrintStream( c.getOutputStream() );
out.println("GET / HTTP/1.1");
out.println("Host: example.com");
out.println("User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0");
out.println("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
out.println("Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
out.println("Accept-Encoding: gzip, deflate");
out.println("Connection: keep-alive");
out.println("");
out.flush();
InputStream in = c.getInputStream();
byte[] buffer = new byte[8192];
// ByteArrayOutputStream используется, как накопитель байт, чтобы
// потом превратить в строку все полученные данные.
// преобразовывать часть потока в строку опасно, т.к.
// если данные идут в многобайтной кодировке, один символ может
// быть разрезан между чтениями
ByteArrayOutputStream baos = new ByteArrayOutputStream();
// InputStream.read( byte[] ) возвращает количество прочитанных байт
// и -1, если поток кончился (сервер закрыл соединение)
for ( int received; (received = in.read( buffer )) != -1; ) {
// записываем прочитанное из потока, от 0 до количества считанных
baos.write( buffer, 0, received );
}
// преобразуем в строку ( кодировку желательно указывать )
String reply = baos.toString( "UTF-8" );
// можно так, но toByteArray() создает копию массива, а я у мамы оптимизатор
//String reply = new String( baos.toByteArray(), StandardCharsets.UTF_8 );
System.out.println( reply );
c.close();
Если читаю через BufferedReader, то в ответ приходят только заголовки от веб сервера. Но значительно быстрее чем предыдущий метод, почти что моментально.
BufferedReader br = new BufferedReader(new InputStreamReader(in));
while(true) {
String line = br.readLine();
if(line.isEmpty())
break;
}
Скажите как правильно прочитать тело ответа от сервера ?
Connection: close
), хотя странно, что у вас это занимает минуты, у меня сервер отключает секунд через 5. Второй способ прекращает цикл, встретив пустую строку, которой по стандарту отделяется заголовок от содержимого. Чем вас не устраивают стандартныйHttpURLConnection
и прочие http-клиенты на java?IOUtils.toByteArray(inputStream);
чтобы прочесть весь стрим. замерьте результатInputStream in = c.getInputStream(); byte[] bytes = IOUtils.toByteArray(in); System.out.println(new String(bytes, "UTF-8")); c.close();