0

Разбираюсь с сокетами в Java и за одно с протоколом HTTP. Отправляю запрос к сайт, с целью получить его содержимое. Сервер отдает тело ответа в gzip.

В общем проблема в том, что данные читаются по байтово очень долго, от 2 до 5 минут.

c = new Socket("example.com", 80);
            PrintStream out = new PrintStream( c.getOutputStream() );

            out.println("GET / HTTP/1.1");
            out.println("Host: example.com");
            out.println("User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0");
            out.println("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
            out.println("Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
            out.println("Accept-Encoding: gzip, deflate");
            out.println("Connection: keep-alive");
            out.println("");

            out.flush();

            InputStream in = c.getInputStream();

            byte[] buffer = new byte[8192];
            // ByteArrayOutputStream используется, как накопитель байт, чтобы
            //   потом превратить в строку все полученные данные.
            //   преобразовывать часть потока в строку опасно, т.к.
            //   если данные идут в многобайтной кодировке, один символ может
            //   быть разрезан между чтениями
            ByteArrayOutputStream baos = new ByteArrayOutputStream();
            // InputStream.read( byte[] ) возвращает количество прочитанных байт
            //   и -1, если поток кончился (сервер закрыл соединение)
            for ( int received; (received = in.read( buffer )) != -1; ) {
                // записываем прочитанное из потока, от 0 до количества считанных
                baos.write( buffer, 0, received );
            }

            // преобразуем в строку ( кодировку желательно указывать )
            String reply = baos.toString( "UTF-8" );
            // можно так, но toByteArray() создает копию массива, а я у мамы оптимизатор
            //String reply = new String( baos.toByteArray(), StandardCharsets.UTF_8 );

            System.out.println( reply );

            c.close();

Если читаю через BufferedReader, то в ответ приходят только заголовки от веб сервера. Но значительно быстрее чем предыдущий метод, почти что моментально.

BufferedReader br = new BufferedReader(new InputStreamReader(in));
            while(true) {
                String line = br.readLine();          

                if(line.isEmpty())
                    break;
            }

Скажите как правильно прочитать тело ответа от сервера ?

6
  • 1
    первый метод рассчитан на то, что отдав страницу сервер закроет соединение (т.е. http 1.0 или заголовок Connection: close), хотя странно, что у вас это занимает минуты, у меня сервер отключает секунд через 5. Второй способ прекращает цикл, встретив пустую строку, которой по стандарту отделяется заголовок от содержимого. Чем вас не устраивают стандартный HttpURLConnection и прочие http-клиенты на java?
    – zRrr
    27 янв 2017 в 21:19
  • Пытаюсь сделать прокси сервер.
    – or_die
    28 янв 2017 в 11:13
  • @or_die попробуйте IOUtils.toByteArray(inputStream); чтобы прочесть весь стрим. замерьте результат 31 янв 2017 в 12:39
  • @SeniorAutomator, примерное такое же время чтения стрима. InputStream in = c.getInputStream(); byte[] bytes = IOUtils.toByteArray(in); System.out.println(new String(bytes, "UTF-8")); c.close();
    – or_die
    31 янв 2017 в 14:53
  • @or_die а какое время получаете и ожидаете ? 1 фев 2017 в 6:27

2 ответа 2

3
+100

После получения пустой строки через BufferedReader нужно НЕ делать break, а прочитать еще количество байт указанных в заголовке ответа сайта: Content-Length: xxx - это и будет тело ответа.

import java.net.*;
import java.io.*;
public class HelloWorld{

     public static void main(String []args) 
     {
        try {

            Socket  c = new Socket("example.com", 80);
            PrintStream out = new PrintStream( c.getOutputStream() );

            out.println("GET / HTTP/1.1");
            out.println("Host: example.com");
            out.println("User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0");
            out.println("Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
            out.println("Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
            out.println("Accept-Encoding: identity");
            out.println("Connection: close");
            out.println("");

            out.flush();

            InputStream sin = c.getInputStream();
            //InputStream sin = Socket.getInputStream();
            DataInputStream in = new DataInputStream(sin);
            //BufferedReader br = new BufferedReader(new InputStreamReader(in));
            String line = "";
            String str = "";
            Integer len = 0;
            while(true) {
                line = in.readLine();  
                if  (line.indexOf("Content-Length") != -1)
                {
                len = Integer.parseInt( line.split("\\D+")[1] );
                System.out.println("LINEE="+len);
                }
                str = str + line + '\n';
                if(line.isEmpty())  break;
            }
            int i = Integer.valueOf(len);
            String body= "";
            System.out.println("i="+i);
            if (i>0) { 
                 byte[] buf = new byte[i];
                 in.readFully(buf);
                 for (byte b:buf)  body = body + (char)b;

            }
            System.out.println(str);
            System.out.println(body);

            c.close();

        } catch (Exception x) {
            x.printStackTrace();
        }   

     }
}

Смотреть код онлайн: http://www.tutorialspoint.com/compile_java8_online.php?PID=0Bw_CjBb95KQMR1p4ODN2MjI5d3c

1
  • Огромное спасибо !
    – or_die
    1 фев 2017 в 20:14
1

Не совсем вижу смысла писать код для для чтение исключительно html. Тем более читать все таким сложным методом и пологаться на Content-Length(не уверен что Content-Length обязателен и гарантированно будет в тексте).

Следуюший код читает весь сокет и может применяться ко всем типам данных включая бинарных(без использования посторонних библиотек.

try (InputStreamReader reader = new InputStreamReader(input stream)) {
    readAll((reader));
} catch (IOException e) {
    e.printStackTrace();
}

private static String readAll(Reader inputReader) throws IOException {
final char[] buffer = new char[1024];
final StringBuilder result = new StringBuilder();
while (true) {
    int byteRead = inputReader.read(buffer, 0, buffer.length);
    if (byteRead < 0)
        return result.toString();
    result.append(buffer, 0, byteRead);
}

} }

так же читать можно используя сканнер.

Scanner s = new Scanner(inputStream).useDelimiter("\\A");
String result = s.hasNext() ? s.next() : "";

Вообще по мне простой кой предпочтительнее так как в нем сложнее сделать ошибку.

1
  • Когда проще, конечно лучше. Но по не известной причине, ваш пример очень долго читает ответ от сервера. Да и в принципе когда нет в заголовках Content-Length приходится читать весь ответ от сервера на много дольше, чем когда есть Content-Length Вообщем как бы в этом весь вопрос и заключается.
    – or_die
    11 фев 2017 в 19:01

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.