1

Мне нужно сохранить рейтинг(25 позиций), который открывается при входе на Livejournal.com, чтобы впоследствии парсить его при помощи HTMLAgilityPack. Попытался сделать так:

WebClient client = new WebClient();
client.DownloadFile("http://www.livejournal.com", "d:\\tmp\\lj.txt");

Сохраненный файл не содержит самого рейтинга, ведь при входе через браузер рейтинг загружается не сразу. Есть какой-нибудь простой способ вытащить рейтинг оттуда?

2 ответа 2

3

Изначально неправильный подход. Ну откуда у людей берутся мысли типа "отпарсить HTML", когда правильное решение написано АРШИННЫМИ БУКВАМИ в справке самого ЖЖ?

Для особо одарённых: можно получать RSS топа.

6
  • Господин, растолкуйте, пожалуйста правильно решение для тупых. Про RSS знаю. Полная задача заключается в следующем: программа (или служба) должна пару раз в сутки скачивать и сохранять топ25 ЖЖ. В воскресенье, я хочу почитать все записи которые попадали в топ25 за неделю (с нужными мне сортировками и выкидывание дубликатов). p.s. могу работать только на c#
    – Dork
    22 июн 2015 в 14:49
  • О, господин, ты ослепителен в своем величии. Не гневайся на убогого, но никакой ЖЖ-шной документации для разработчиков я не смог найти. Зато твоя идея с получением топа через RSS мне подходит, попробую класс SyndicationFeed. Хоть ты высокомерен и груб, но галочку тебе поставлю попозже думаю.
    – Dork
    22 июн 2015 в 15:13
  • Отлично! Не забудь, о, падаван, соблюдать их bot policy, и, в особенности, посылать и принимать If-Modified-Since/Last-Modified. Как они это пишут здесь, например: livejournal.com/bots А как на самом деле - это к RFC...
    – dunduk
    22 июн 2015 в 15:19
  • Мастер, прости великодушно, но при попытке загрузить топ получаю exception " При выполнении синтаксического анализа значения DateTime в XML-документе произошла ошибка." XmlReader reader = XmlReader.Create("h ttp://www.livejournal.com/top/rss"); SyndicationFeed feed = SyndicationFeed.Load(reader); Хотя при использовании rss юзера (tema.livejournal.com/data/rss) все работает нормально.
    – Dork
    22 июн 2015 в 16:16
  • А что говорит wget -S http://что-то_там - первейший инструмент, который нужно освоить до любого языка программирования? Чем отличается полученный документ от других валидных RSS, полученных тем же способом?
    – dunduk
    22 июн 2015 в 16:19
0

Возможно, вам поможет NHtmlUnit или его аналоги.

3
  • хотелось бы что-нибудь под c#. За наводку спасибо, ищу.
    – Dork
    22 июн 2015 в 14:33
  • @Dork NHtmlUnit - под C# 22 июн 2015 в 14:57
  • Постарайтесь писать более развернутые ответы. Поясните, на чем основано ваше утверждение? 23 июн 2015 в 6:43

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.