У меня стоит задача пропарсить сайт ria.ru. Я выбрал для этого JSoup.
Так как часть контента сайта генерируется скриптами, я не могу, например загрузить ссылку на картинку в свой объект класса EntryNews:
public EntryNews(String imgRef, String newsRef, String title, String announce, String date) {
this.imgRef = imgRef;
this.newsRef = newsRef;
this.title = title;
this.announce = announce;
this.date = date;
}
Ведь тот html который видит парсер
Document doc = Jsoup.connect("http://ria.ru/").get();
не содержит многих css-классов, которые можно увидеть если например просмотреть код страницы в хроме.
Уже третий день не могу разобраться - как мне узнать откуда подгружается этот динамический контент? В моем предыдущем вопросе мне посоветовали выгрузить сайт через wget и глянуть откуда скрипты берут новое содержимое. Однако там я нашел только вот это (в принципе мало похожее на нечто полезное):
<script>$(document).ready(function() { checkBannerHeight(17); });</script></div></div><div xmlns:str="http://exslt.org/strings" class="day_news"><div class="day_news_wrapper">
Ткните пожалуйста, куда мне посмотреть и/или скажите что почитать на эту тему.
Спасибо!