1

Проблема в следующем: использую библиотеку Jsoup для парсинга HTML страниц, но загвоздка в том, что на некоторых страницах некоторые элементы генерируются js при загрузке страницы (на мой взгляд равносильно подключению к этой странице. Однако, когда я получаю Document путем Jsoup.connect(url), я получаю все элементы, кроме тех, которые генерируются таким образом (в отличии от просмотра в браузере, например). Вопрос: Есть ли возможность получить документ в таком же виде, в каком я вижу его в Google Chrome - F12 - Elements?

1 ответ 1

1

С помощью JSOUP это невозможно. Так вы получите только статический контент, динамический не будет получен.

У вас 2 пути:

  1. Изучить какой запрос отправляет сайт при подгрузке данных и отправлять его. Так вы получите данные, которые динамически сайтом подгружаются.
  2. Используя Selenium эмулировать программно браузер и в нём, программно прокрутив страницу, получить динамически отображаемый HTML. Это сложный, долгий способ, но иногда только это и остаётся.
3
  • Спасибо! А есть какой нибудь способ сразу скопом выкачать весь контент по ссылкам, которые отправляются? может какие-нибудь другие библиотеки? 6 июл 2019 в 16:33
  • @МишаковАлександр, нет, готовых решений нет, т.к. нет типовых подходов для формирования API. Все всё делают по своему, засим надо вручную всё делать. Разбирать API и писать код, который будет его вызывать, парсить полученную инфы и куда-то складировать.
    – ЮрийСПб
    6 июл 2019 в 16:40
  • понял Вас, спасибо! 6 июл 2019 в 16:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.