1

Пишу приложение на Java, связанное с парсингом исходного кода страницы. Вопрос заключается в следующем. Пытаюсь парсить исходный код следующим образом:

Document doc = Jsoup.connect("http://example.com/").get();

Парсится нормально. Но(!) смотрю полученый исходный код - там не все блоки. К примеру, в браузере с помощью "Исследовать элемент" я этот блок и всё, что в нем есть вижу, а в полученом исходном коде с помощью Jsoup этого блока нет. Собственно, вопрос: как парсить весь исходный код целиком?

2
  • Его нет, потому что видимо он размещается при помощи Java-Script, возможен такой вариант?
    – LukavskyM
    22 дек 2016 в 18:45
  • Да, он, скорее всего сгенирирован при помощи JavaScript. Есть ли возможно спарсить такие блоки кода?
    – Денис
    22 дек 2016 в 18:56

1 ответ 1

2

Вероятнее всего желаемый элемент создается при помощи JavaScript кода запускаемым браузером и/или с помощью дополнительных API запросов. JSoup - это не браузер и в нем нет JavaScript движка. В doc Вы получаете исходный "статический" HTML.

Вариантов решить эту проблему несколько:

  • автоматизировать настоящий браузер через selenium, открыть желаемую страницу в selenium-powered браузере, дать ему выполнить свою работу по загрузке страницы и пропарсить нужные данные; далее либо получить исходный код страницы через getPageSource() и отдать это JSoup на парсинг, либо продолжить спользовать selenium webdriver API
  • инспектировать, как загружается и формируется страница (с помощью browser developer tools), если браузер делает дополнительные реквесты, повторить их в своем Java коде

Также иногда бывает, что нужные данные уже присутствуют в HTML, но только в другом месте. Например, иногда в script тегах - тоже проверьте это.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.