Метод, с использованием AgilityHtmlPak, должен выкачивать со страницы ссылки, выбрасывая в процессе все лишнее (ссылки на картинки, анкоры и т.д.). По отдельности все работает нормально, а вместе - выбрасывает ошибку:
An unhandled exception of type 'System.NullReferenceException' occurred in Crawler.exe Additional information: Ссылка на объект не указывает на экземпляр объекта.
Вот этот метод:
public List<string> ParserHtml(string uri, string baseUrl)
{
var webGet = new HtmlWeb();
var document = webGet.Load(uri);
var linksOnPage = (from lnks in document.DocumentNode.Descendants()
where lnks.Name == "a" && lnks.Attributes["href"] != null
let lnk1 = lnks.Attributes["href"].Value
let lnk2 = !lnk1.Contains("rss") ? lnk1 : null
let lnk3 = !lnk2.StartsWith("mailto:") ? lnk2 : null
select lnk3
).Distinct().ToList();
return linksOnPage;
}
Сами по себе эти куски кода работающие, если например сделать так:
let lnk2 = !lnk1.Contains("rss") ? lnk1 : null
//let lnk3 = !lnk2.StartsWith("mailto:") ? lnk2 : null
select lnk2
или так:
//let lnk2 = !lnk1.Contains("rss") ? lnk1 : null
let lnk3 = !lnk1.StartsWith("mailto:") ? lnk1 : null
select lnk3
то по-отдельности нормально работает? т.е. ошибка возникает при вычислении lnk3 из lnk2, то же и наоборот.