0

Доброго. В android'e парсится html сайта. Вот такое примитивный код:

class Description extends AsyncTask<Void, Void, Void> {
public String desc;

@Override
protected void onPreExecute() {
    super.onPreExecute();
}

@Override
protected Void doInBackground(Void... params) {
    try {
        Document document = Jsoup.connect("http://www.google.ru").get();
        desc = document.html();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return null;
}

@Override
protected void onPostExecute(Void result) {
    Log.i("test", desc);
}
}

При этом загружается только часть html кода, прерывается на случайном месте. При проверке в Eclipse всё хорошо отображается.

введите сюда описание изображения

@ЮрийСПБ @metalurgus Не думаю, что проблема с выводом текста. введите сюда описание изображения

Причем при получении html'a посредством HttpUrlConnection'а та же самая несуразица :с Дело не в том, что в странице отсутствуют какие-то блоки. Код прерывается на случайном месте, может вообще на половине названия тега. Вряд ли, это это из-за особенностей String'а или логов. Делал построчное выведение в логи с помощью InputStream'a - результат тот же. (!) К тому же, посмотрите, пожалуйста, на последний скрин, там я делал выборку по тегу 'а'. Ничего не нашлось. (!) В eclipse всё прекрасно работает.

2
  • вы ошибаетесь, он загружает документ полностью. Обрезать его может, например, сам лог. Или даже метод toString() у Document может обрезать его. 16 ноя 2015 в 5:22
  • Если вам дан исчерпывающий ответ, отметьте его как верный (галка напротив выбранного ответа). 26 янв 2016 в 2:00

5 ответов 5

2
Document document = Jsoup.connect("http://www.google.ru").maxBodySize(0).get();

Решает проблему maxBodySize(0) который снимает ограничение на размер страницы, так же можно убрать timeout(0).

1

Страница, находящаяся по адресу, который вы загружаете (http://www.google.ru) не имеет HTML кода(кроме тегов html, head, sctipt), а все содержимое на ней генерируется при помощи JavaScript динамически. Это значит, что вы получаете весь код страницы, но JSOUP не запускает работу JavaScript.

1
  • @BORSHEVIK Дело не в том, что в странице отсутствуют какие-то блоки. Код прерывается на случайном месте, может вообще на половине названия тега. Вряд ли, это это из-за особенностей String'а или логов. Делал построчное выведение в логи с помощью InputStream'a - результат тот же. (!) К тому же, посмотрите, пожалуйста, на последний скрин, там я делал выборку по тегу 'а'. Ничего не нашлось. (!) В eclipse всё прекрасно работает.
    – differ
    18 ноя 2015 в 10:37
0

Скорее всего дело тут не в том, что не весь HTML загрузился, а в том, что Log просто не весь текст вывел.

Попробуйте разбить полученную строку на небольшие части и вывести их в цикле, по очереди.

Ну или просто попробуйте через Jsoup обратиться к последнему тегу в загруженной HTML-ке.

0
0

Metalurgus Прав, сам сталкивался с такой проблемой. Проблема в том, что вы скачиваете HTML страничку, но JS скрипты не выполняются и поэтому вы не видите полной картины

1
  • Старайтесь писать более детальные ответы. Можно включить пример кода, объяснить путь решения, привести ссылки с более подробным разбором проблемы и т. п.
    – Kyubey
    18 ноя 2015 в 12:40
0

Мне один только maxBodySize(0) не помог. У меня появился весь код когда прописала:

doc = Jsoup.connect(mLink).maxBodySize(0).userAgent("Mozilla/5.0 (Windows NT 5.1)" +
      "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.110 Safari/537.36")
      .timeout(0).get();

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.