Пытаюсь посчитать все внешние ссылки на каждой странице веб-сайта, используя jsoup.
Уже почти норм, только ссылку "/docs/resume_rus.doc" считало как внешнюю ссылку, что не так. Тогда я использовал String absUrl = link.attr("abs:href") вместо "href" для извлечения абсолютной ссылки. Считает, что нужно и как нужно. Но бок в том, что появляются идентичные ссылки, но со знаком # в конце. Не могу вообще понять, откуда они.
Вот главный метод, в котором происходит процесс сохранения в ArrayList-ы всех внутренних ссылок (ссылки того же домена страницы) в allInnerLinks и внешних ссылок в allExternalLinks:
public void go() {
Document doc;
baseUrl = CountLinks.result3;
try {
// need http protocol
doc = Jsoup
.connect(url)
.userAgent(
"Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
.referrer("http://www.google.com").timeout(1000 * 5)
.ignoreContentType(true).get();
// get page title
String title = doc.title();
// get all links
Elements links = doc.select("a[href]");
for (Element link : links) {
// !!!
// String absUrl = link.absUrl("href");
String absUrl = link.attr("abs:href");
if (absUrl.contains(baseUrl)
&& !(absUrl.contains("mailto"))) {
allInnerLinks.add(absUrl);
allInnerLinksCounter++;
} else {
allExternalLinks.add(absUrl);
allExternalLinksCounter++;
}
}
} catch (NullPointerException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (HttpStatusException e) {
e.printStackTrace();
System.out.println(e.getUrl());
} catch (IOException e) {
e.printStackTrace();
}
}
Результат получается где-то такой :
http://website.com/category/news/ - https://meetings.external.com/
http://website.com/category/news/# - https://meetings.external.com/
Что я делаю не так?