1

Проблема в следующем: использую библиотеку Jsoup для парсинга HTML страниц, но загвоздка в том, что на некоторых страницах некоторые элементы генерируются js при загрузке страницы (на мой взгляд равносильно подключению к этой странице. Однако, когда я получаю Document путем Jsoup.connect(url), я получаю все элементы, кроме тех, которые генерируются таким образом (в отличии от просмотра в браузере, например). Вопрос: Есть ли возможность получить документ в таком же виде, в каком я вижу его в Google Chrome - F12 - Elements?

1 ответ 1

1

С помощью JSOUP это невозможно. Так вы получите только статический контент, динамический не будет получен.

У вас 2 пути:

  1. Изучить какой запрос отправляет сайт при подгрузке данных и отправлять его. Так вы получите данные, которые динамически сайтом подгружаются.
  2. Используя Selenium эмулировать программно браузер и в нём, программно прокрутив страницу, получить динамически отображаемый HTML. Это сложный, долгий способ, но иногда только это и остаётся.
3
  • Спасибо! А есть какой нибудь способ сразу скопом выкачать весь контент по ссылкам, которые отправляются? может какие-нибудь другие библиотеки? 6 июл 2019 в 16:33
  • @МишаковАлександр, нет, готовых решений нет, т.к. нет типовых подходов для формирования API. Все всё делают по своему, засим надо вручную всё делать. Разбирать API и писать код, который будет его вызывать, парсить полученную инфы и куда-то складировать.
    – ЮрийСПб
    6 июл 2019 в 16:40
  • понял Вас, спасибо! 6 июл 2019 в 16:43

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.