0

Пытаюсь посчитать все внешние ссылки на каждой странице веб-сайта, используя jsoup.

Уже почти норм, только ссылку "/docs/resume_rus.doc" считало как внешнюю ссылку, что не так. Тогда я использовал String absUrl = link.attr("abs:href") вместо "href" для извлечения абсолютной ссылки. Считает, что нужно и как нужно. Но бок в том, что появляются идентичные ссылки, но со знаком # в конце. Не могу вообще понять, откуда они.

Вот главный метод, в котором происходит процесс сохранения в ArrayList-ы всех внутренних ссылок (ссылки того же домена страницы) в allInnerLinks и внешних ссылок в allExternalLinks:

    public void go() {
    Document doc;
    baseUrl = CountLinks.result3;
    try {

        // need http protocol

        doc = Jsoup
                .connect(url)
                .userAgent(
                        "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                .referrer("http://www.google.com").timeout(1000 * 5)
                .ignoreContentType(true).get();
        // get page title
        String title = doc.title();

        // get all links
        Elements links = doc.select("a[href]");

        for (Element link : links) {
            // !!!
            // String absUrl = link.absUrl("href");
            String absUrl = link.attr("abs:href");

            if (absUrl.contains(baseUrl)
                    && !(absUrl.contains("mailto"))) {
                allInnerLinks.add(absUrl);
                allInnerLinksCounter++;
            } else {
                allExternalLinks.add(absUrl);
                allExternalLinksCounter++;
            }
        }
    } catch (NullPointerException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    } catch (HttpStatusException e) {
        e.printStackTrace();
        System.out.println(e.getUrl());
    } catch (IOException e) {
        e.printStackTrace();
    }
}

Результат получается где-то такой :


http://website.com/category/news/ - https://meetings.external.com/

http://website.com/category/news/# - https://meetings.external.com/

Что я делаю не так?

2
  • html, который парсите, в студию.
    – gcoder
    16 сен 2014 в 7:30
  • Вообще я пытаюсь сделать прогу для парсинга любого сайта, но сейчас пробую вот этот, т.к. ссылок мало [hostingmaks.com/][1] [1]: hostingmaks.com
    – zkvarz
    16 сен 2014 в 11:00

1 ответ 1

0

Потому что jsoup к ссылкам вида <a href="#" /> добавляет абсолютный адрес.
Такие ссылки, как правило, ссылаются на какой-либо элемент страницы, поэтому их можно просто исключить:

String absUrl = link.absUrl("href");
if (absUrl.startsWith("#")) 
        continue;
1
  • Похоже то, что мне нужно. Благодарю! Только следует использовать endsWith, как в моём случае.
    – zkvarz
    17 сен 2014 в 15:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.