0

Необходимо читать все страницы, которые указаны в текстовом файле robots.txt

    public class SiteMapParcer {
        public static void main(String[] args) throws Exception {
            FileInputStream in = null;

            try {
                in = new FileInputStream("robots.txt");
                //in = new FileInputStream("C:\\Users\\moshkov\\Desktop\\kraulerproject\\src\\main\\java\\robots.txt");
                in.close();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                try {
                    in.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }

            Document doc = Jsoup.connect(String.valueOf(in)).get();
             //print all available links on page
            Elements links = doc.select("a[href]");
            for (Element l : links) {
                System.out.println("link: " + l.attr("abs:href"));
            }
        }
    }

Но получаю ошибки:

Exception in thread "main" java.lang.IllegalArgumentException: Malformed URL: java.io.FileInputStream@677327b6
  at org.jsoup.helper.HttpConnection.url(HttpConnection.java:102)
  at org.jsoup.helper.HttpConnection.connect(HttpConnection.java:44)
  at org.jsoup.Jsoup.connect(Jsoup.java:73)
  at SiteMapParcer.main(SiteMapParcer.java:30)

Что я делаю не так и на верном ли я пути или же я все усложняю?

В файле robots.txt данные хранятся в следующем виде:

Sitemap: https://www.bfm.ru/sitemap.xml

1
  • Код отправки запроса по url покажите и выведите url перед этим. 1 ноя 2017 в 12:54

1 ответ 1

0

Ваша ошибка в строке

Document doc = Jsoup.connect(String.valueOf(in)).get();

В метод Jsoup.connect(url) нужно передавать строку, содержащую URL. Запустите программу в отладчике и посмотрите, что вы передаёте в него ("java.io.FileInputStream@677327b6"). Реализуйте корректное чтение из файла robots.txt и вместо String.valueOf(in) передавайте строку URL.

UPD. Пример чтения из файла

Scanner sc = new Scanner(new File("robots.txt"));
while (sc.hasNext()){
    String url = sc.nextLine().split()[1]
    Document doc = Jsoup.connect(url).get();
    ...
}
5
  • Я понимаю, но идея как раз была в том, что не один URL будет читаться, а несколько. Они в свою очередь лежат в файле, который нужно прочитать, а ссылка на файл и есть in = new FileInputStream("robots.txt"). Хотелось бы реализовать такую логику... 2 ноя 2017 в 11:48
  • Как раз чтения файла у вас и отсутствует. String.valueOf(in) не читает строки из файла. Вам нужна помощь с чтением файла? 2 ноя 2017 в 11:55
  • Да, чтение файла. А FileInputStream - это не удачная реализация в моем случае? Я думал, что этот класс предназначен для чтения данных. 2 ноя 2017 в 12:50
  • Дополнил ответ примером чтения из файла. Можно использовать и FileInputStream, этот способ будет содержать больше кода и будет работать быстрее. Scanner очень медленный. 2 ноя 2017 в 13:17
  • если ответ вам помог, отметьте его решением. 3 ноя 2017 в 6:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.