1

Мне нужно сохранить рейтинг(25 позиций), который открывается при входе на Livejournal.com, чтобы впоследствии парсить его при помощи HTMLAgilityPack. Попытался сделать так:

WebClient client = new WebClient();
client.DownloadFile("http://www.livejournal.com", "d:\\tmp\\lj.txt");

Сохраненный файл не содержит самого рейтинга, ведь при входе через браузер рейтинг загружается не сразу. Есть какой-нибудь простой способ вытащить рейтинг оттуда?

2 ответа 2

3

Изначально неправильный подход. Ну откуда у людей берутся мысли типа "отпарсить HTML", когда правильное решение написано АРШИННЫМИ БУКВАМИ в справке самого ЖЖ?

Для особо одарённых: можно получать RSS топа.

6
  • Господин, растолкуйте, пожалуйста правильно решение для тупых. Про RSS знаю. Полная задача заключается в следующем: программа (или служба) должна пару раз в сутки скачивать и сохранять топ25 ЖЖ. В воскресенье, я хочу почитать все записи которые попадали в топ25 за неделю (с нужными мне сортировками и выкидывание дубликатов). p.s. могу работать только на c#
    – Dork
    22 июн 2015 в 14:49
  • О, господин, ты ослепителен в своем величии. Не гневайся на убогого, но никакой ЖЖ-шной документации для разработчиков я не смог найти. Зато твоя идея с получением топа через RSS мне подходит, попробую класс SyndicationFeed. Хоть ты высокомерен и груб, но галочку тебе поставлю попозже думаю.
    – Dork
    22 июн 2015 в 15:13
  • Отлично! Не забудь, о, падаван, соблюдать их bot policy, и, в особенности, посылать и принимать If-Modified-Since/Last-Modified. Как они это пишут здесь, например: livejournal.com/bots А как на самом деле - это к RFC...
    – dunduk
    22 июн 2015 в 15:19
  • Мастер, прости великодушно, но при попытке загрузить топ получаю exception " При выполнении синтаксического анализа значения DateTime в XML-документе произошла ошибка." XmlReader reader = XmlReader.Create("h ttp://www.livejournal.com/top/rss"); SyndicationFeed feed = SyndicationFeed.Load(reader); Хотя при использовании rss юзера (tema.livejournal.com/data/rss) все работает нормально.
    – Dork
    22 июн 2015 в 16:16
  • А что говорит wget -S http://что-то_там - первейший инструмент, который нужно освоить до любого языка программирования? Чем отличается полученный документ от других валидных RSS, полученных тем же способом?
    – dunduk
    22 июн 2015 в 16:19
0

Возможно, вам поможет NHtmlUnit или его аналоги.

3
  • хотелось бы что-нибудь под c#. За наводку спасибо, ищу.
    – Dork
    22 июн 2015 в 14:33
  • @Dork NHtmlUnit - под C# 22 июн 2015 в 14:57
  • Постарайтесь писать более развернутые ответы. Поясните, на чем основано ваше утверждение? 23 июн 2015 в 6:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.