1

Пишу приложение на Java, связанное с парсингом исходного кода страницы. Вопрос заключается в следующем. Пытаюсь парсить исходный код следующим образом:

Document doc = Jsoup.connect("http://example.com/").get();

Парсится нормально. Но(!) смотрю полученый исходный код - там не все блоки. К примеру, в браузере с помощью "Исследовать элемент" я этот блок и всё, что в нем есть вижу, а в полученом исходном коде с помощью Jsoup этого блока нет. Собственно, вопрос: как парсить весь исходный код целиком?

2
  • Его нет, потому что видимо он размещается при помощи Java-Script, возможен такой вариант?
    – LukavskyM
    Commented 22 дек. 2016 в 18:45
  • Да, он, скорее всего сгенирирован при помощи JavaScript. Есть ли возможно спарсить такие блоки кода?
    – Денис
    Commented 22 дек. 2016 в 18:56

1 ответ 1

2

Вероятнее всего желаемый элемент создается при помощи JavaScript кода запускаемым браузером и/или с помощью дополнительных API запросов. JSoup - это не браузер и в нем нет JavaScript движка. В doc Вы получаете исходный "статический" HTML.

Вариантов решить эту проблему несколько:

  • автоматизировать настоящий браузер через selenium, открыть желаемую страницу в selenium-powered браузере, дать ему выполнить свою работу по загрузке страницы и пропарсить нужные данные; далее либо получить исходный код страницы через getPageSource() и отдать это JSoup на парсинг, либо продолжить спользовать selenium webdriver API
  • инспектировать, как загружается и формируется страница (с помощью browser developer tools), если браузер делает дополнительные реквесты, повторить их в своем Java коде

Также иногда бывает, что нужные данные уже присутствуют в HTML, но только в другом месте. Например, иногда в script тегах - тоже проверьте это.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.