0

Разбираюсь с сокетами в Java и за одно с протоколом HTTP. Отправляю запрос к сайт, с целью получить его содержимое. Сервер отдает тело ответа в gzip.

В общем проблема в том, что данные читаются по байтово очень долго, от 2 до 5 минут.

c = new Socket("example.com", 80);
            PrintStream out = new PrintStream( c.getOutputStream() );

            out.println("GET / HTTP/1.1");
            out.println("Host: example.com");
            out.println("User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0");
            out.println("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
            out.println("Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
            out.println("Accept-Encoding: gzip, deflate");
            out.println("Connection: keep-alive");
            out.println("");

            out.flush();

            InputStream in = c.getInputStream();

            byte[] buffer = new byte[8192];
            // ByteArrayOutputStream используется, как накопитель байт, чтобы
            //   потом превратить в строку все полученные данные.
            //   преобразовывать часть потока в строку опасно, т.к.
            //   если данные идут в многобайтной кодировке, один символ может
            //   быть разрезан между чтениями
            ByteArrayOutputStream baos = new ByteArrayOutputStream();
            // InputStream.read( byte[] ) возвращает количество прочитанных байт
            //   и -1, если поток кончился (сервер закрыл соединение)
            for ( int received; (received = in.read( buffer )) != -1; ) {
                // записываем прочитанное из потока, от 0 до количества считанных
                baos.write( buffer, 0, received );
            }

            // преобразуем в строку ( кодировку желательно указывать )
            String reply = baos.toString( "UTF-8" );
            // можно так, но toByteArray() создает копию массива, а я у мамы оптимизатор
            //String reply = new String( baos.toByteArray(), StandardCharsets.UTF_8 );

            System.out.println( reply );

            c.close();

Если читаю через BufferedReader, то в ответ приходят только заголовки от веб сервера. Но значительно быстрее чем предыдущий метод, почти что моментально.

BufferedReader br = new BufferedReader(new InputStreamReader(in));
            while(true) {
                String line = br.readLine();          

                if(line.isEmpty())
                    break;
            }

Скажите как правильно прочитать тело ответа от сервера ?

6
  • 1
    первый метод рассчитан на то, что отдав страницу сервер закроет соединение (т.е. http 1.0 или заголовок Connection: close), хотя странно, что у вас это занимает минуты, у меня сервер отключает секунд через 5. Второй способ прекращает цикл, встретив пустую строку, которой по стандарту отделяется заголовок от содержимого. Чем вас не устраивают стандартный HttpURLConnection и прочие http-клиенты на java?
    – zRrr
    27 янв 2017 в 21:19
  • Пытаюсь сделать прокси сервер.
    – or_die
    28 янв 2017 в 11:13
  • @or_die попробуйте IOUtils.toByteArray(inputStream); чтобы прочесть весь стрим. замерьте результат 31 янв 2017 в 12:39
  • @SeniorAutomator, примерное такое же время чтения стрима. InputStream in = c.getInputStream(); byte[] bytes = IOUtils.toByteArray(in); System.out.println(new String(bytes, "UTF-8")); c.close();
    – or_die
    31 янв 2017 в 14:53
  • @or_die а какое время получаете и ожидаете ? 1 фев 2017 в 6:27

2 ответа 2

3
+100

После получения пустой строки через BufferedReader нужно НЕ делать break, а прочитать еще количество байт указанных в заголовке ответа сайта: Content-Length: xxx - это и будет тело ответа.

import java.net.*;
import java.io.*;
public class HelloWorld{

     public static void main(String []args) 
     {
        try {

            Socket  c = new Socket("example.com", 80);
            PrintStream out = new PrintStream( c.getOutputStream() );

            out.println("GET / HTTP/1.1");
            out.println("Host: example.com");
            out.println("User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0");
            out.println("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
            out.println("Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
            out.println("Accept-Encoding: identity");
            out.println("Connection: close");
            out.println("");

            out.flush();

            InputStream sin = c.getInputStream();
            //InputStream sin = Socket.getInputStream();
            DataInputStream in = new DataInputStream(sin);
            //BufferedReader br = new BufferedReader(new InputStreamReader(in));
            String line = "";
            String str = "";
            Integer len = 0;
            while(true) {
                line = in.readLine();  
                if  (line.indexOf("Content-Length") != -1)
                {
                len = Integer.parseInt( line.split("\\D+")[1] );
                System.out.println("LINEE="+len);
                }
                str = str + line + '\n';
                if(line.isEmpty())  break;
            }
            int i = Integer.valueOf(len);
            String body= "";
            System.out.println("i="+i);
            if (i>0) { 
                 byte[] buf = new byte[i];
                 in.readFully(buf);
                 for (byte b:buf)  body = body + (char)b;

            }
            System.out.println(str);
            System.out.println(body);

            c.close();

        } catch (Exception x) {
            x.printStackTrace();
        }   

     }
}

Смотреть код онлайн: http://www.tutorialspoint.com/compile_java8_online.php?PID=0Bw_CjBb95KQMR1p4ODN2MjI5d3c

1
  • Огромное спасибо !
    – or_die
    1 фев 2017 в 20:14
1

Не совсем вижу смысла писать код для для чтение исключительно html. Тем более читать все таким сложным методом и пологаться на Content-Length(не уверен что Content-Length обязателен и гарантированно будет в тексте).

Следуюший код читает весь сокет и может применяться ко всем типам данных включая бинарных(без использования посторонних библиотек.

try (InputStreamReader reader = new InputStreamReader(input stream)) {
    readAll((reader));
} catch (IOException e) {
    e.printStackTrace();
}

private static String readAll(Reader inputReader) throws IOException {
final char[] buffer = new char[1024];
final StringBuilder result = new StringBuilder();
while (true) {
    int byteRead = inputReader.read(buffer, 0, buffer.length);
    if (byteRead < 0)
        return result.toString();
    result.append(buffer, 0, byteRead);
}

} }

так же читать можно используя сканнер.

Scanner s = new Scanner(inputStream).useDelimiter("\\A");
String result = s.hasNext() ? s.next() : "";

Вообще по мне простой кой предпочтительнее так как в нем сложнее сделать ошибку.

1
  • Когда проще, конечно лучше. Но по не известной причине, ваш пример очень долго читает ответ от сервера. Да и в принципе когда нет в заголовках Content-Length приходится читать весь ответ от сервера на много дольше, чем когда есть Content-Length Вообщем как бы в этом весь вопрос и заключается.
    – or_die
    11 фев 2017 в 19:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.