Проблема в следующем: использую библиотеку Jsoup для парсинга HTML страниц, но загвоздка в том, что на некоторых страницах некоторые элементы генерируются js при загрузке страницы (на мой взгляд равносильно подключению к этой странице. Однако, когда я получаю Document путем Jsoup.connect(url)
, я получаю все элементы, кроме тех, которые генерируются таким образом (в отличии от просмотра в браузере, например).
Вопрос: Есть ли возможность получить документ в таком же виде, в каком я вижу его в Google Chrome - F12 - Elements?
Добавить комментарий
|
1 ответ
С помощью JSOUP это невозможно. Так вы получите только статический контент, динамический не будет получен.
У вас 2 пути:
- Изучить какой запрос отправляет сайт при подгрузке данных и отправлять его. Так вы получите данные, которые динамически сайтом подгружаются.
- Используя
Selenium
эмулировать программно браузер и в нём, программно прокрутив страницу, получить динамически отображаемый HTML. Это сложный, долгий способ, но иногда только это и остаётся.
-
Спасибо! А есть какой нибудь способ сразу скопом выкачать весь контент по ссылкам, которые отправляются? может какие-нибудь другие библиотеки? 6 июл 2019 в 16:33
-
@МишаковАлександр, нет, готовых решений нет, т.к. нет типовых подходов для формирования API. Все всё делают по своему, засим надо вручную всё делать. Разбирать API и писать код, который будет его вызывать, парсить полученную инфы и куда-то складировать.– ЮрийСПб ♦6 июл 2019 в 16:40
-