0

Столкнулся с одной проблемой. Нужно спарсить новости с новостной ленты. Перепробовал разные варианты, но всегда либо нет элементов, либо ругается. Может туплю, но не понимаю почему не могу спарсить? подскажите пожалуйста. Причем ради интереса пробовал онлайн читалки, читают без проблем. Подробно:
Дана rss лента новостная лента.
Пробовал и так:

string url = "http://www.pobeda-aksay.ru/feed/";
static void ParseURL(string u)
    {
        XDocument rssXmlDoc = new XDocument();
        rssXmlDoc= XDocument.Load(u);
        var items = (from a in rssXmlDoc.Descendants("item")
                     select new
                     {
                         title = a.Element("title").Value
                     });
        if (items != null)
        {
            foreach (var i in items) /*здесь ничего нет*/
            {

            }
        }
    }

Затем пробовал так:

WebRequest wr = WebRequest.Create(url);
            wr.Proxy.Credentials = CredentialCache.DefaultCredentials;
            XmlTextReader xtr = new XmlTextReader(wr.GetResponse().GetResponseStream());
            XmlDocument doc = new XmlDocument();
            doc.Load(xtr);
            XmlNode root = doc.DocumentElement;
            var articles = root.SelectNodes("//rss/channel/item");
            XmlNodeList nodeList;
            nodeList = root.ChildNodes;
            int count = 0;
            foreach (XmlNode chanel in nodeList)
            {
                foreach (XmlNode chanel_item in chanel)
                {
                    if (chanel_item.Name == "title")
                    {
                        string n = chanel_item.InnerText;
                    }

                    if (chanel_item.Name == "item")
                    {
                        XmlNodeList itemsList = chanel_item.ChildNodes;
                        foreach (XmlNode item in itemsList)
                        {

                        }
                    }
                }
            } 

Также нет толку.
Пробовал использовать библиотеку CodeHollow.FeedReader

    var feed = FeedReader.ReadAsync(url);
            feed.ConfigureAwait(false);
            foreach (var i in feed.Result.Items) /*а здесь ошибка FeedTypeNotSupportedException: unknown feed type html
*/
            {

            } 

p.s. другие ленты пробовал через CodeHollow.FeedReader, как работали так и работают.

2
  • 1
    SyndicationFeed
    – tym32167
    5 сен 2019 в 21:08
  • c SyndicationFeed тоже. Начинаю загружать из XmlReader и ошибка. Делал так: var reader = XmlReader.Create(url); var feed = SyndicationFeed.Load(reader); // здесь выкидывает ошибка : "Элемент с именем "html" и пространством имен "" не является допустимым форматом каналов." 6 сен 2019 в 11:30

1 ответ 1

1

Этот сайт ваш по умолчанию выводит вот такое

<html>
<head>
    <script>
        function set_cookie() {
            var now = new Date();
            var time = now.getTime();
            time += 19360000 * 1000;
            now.setTime(time);
            document.cookie = 'beget=begetok' + '; expires=' + now.toGMTString() + '; path=/';
        }
        set_cookie();
        location.reload();;
    </script>
</head>
<body></body>
</html>

Если приглядеться, то будет видно, что он выставляет куки и перегружается. Таким образом, надо при запросе выставлять нужные куки, например

var baseAddress = new Uri("http://www.pobeda-aksay.ru");
var cookieContainer = new CookieContainer();
using (var handler = new HttpClientHandler() { CookieContainer = cookieContainer })
{
    cookieContainer.Add(baseAddress, new Cookie("beget", "begetok") { Expires = DateTime.UtcNow.AddDays(1), Path = "/" });
    using (var client = new HttpClient(handler) { BaseAddress = baseAddress })
    {
        var stream = await client.GetStreamAsync("http://www.pobeda-aksay.ru/feed/");
        using (var xmlReader = XmlReader.Create(stream))
        {
            var feed = SyndicationFeed.Load(xmlReader);

            foreach(var item in feed.Items)
            {
                Console.WriteLine("--------------------------------------");
                Console.WriteLine(item.Title.Text);
            }

        }
    }
}

Вывод будет примерно таким

--------------------------------------
Служить пойдем?
--------------------------------------
Поставьте этому парню памятник!
--------------------------------------
Призваны улучшить нашу жизнь
--------------------------------------
Все – на выборы!
......
6
  • Спасибо большое, не знал про это! 7 сен 2019 в 11:31
  • @DenisIvanov если мой ответ решил вашу проблему, не забудьте про галочку
    – tym32167
    7 сен 2019 в 13:23
  • Интересно, сделал консольный проект, добавил куки (сделал как у вас в решении), но на строке var stream = await client.GetStreamAsync("pobeda-aksay.ru/feed/"); перескакивает и никуда дальше не заходит, при отладке. новости не получаю 9 сен 2019 в 13:05
  • 1
    Добавьте ваш код в вопрос, я без кода то как пойму что вы сделали :)
    – tym32167
    9 сен 2019 в 13:42
  • Прошу прощения, спасибо, что откликнулись. Сам затупил, разобрался. Все работает) 9 сен 2019 в 14:58

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.