0

Вот мой код

public static void main(String[] args) throws IOException {
    Document doc = Jsoup.connect("https://elitedrop.ru/").userAgent("Mozilla").data("name", "jsoup").get();
    System.out.println(doc);
}

После отправки этого запроса к сайту мне вместо его Html кода возвращает вот это:

<html>
 <head></head>
 <body>
  <script>var xmlhttp = new XMLHttpRequest();function eraseCookieFromAllPaths(name) { var pathBits = location.pathname.split("/");var pathCurrent = " path=";document.cookie = name + "=; expires=Thu, 01-Jan-1970 00:00:01 GMT;";for (var i = 0; i < pathBits.length; i++) {pathCurrent += ((pathCurrent.substr(-1) != "/") ? "/" : "") + pathBits[i];document.cookie = name + "=; expires=Thu, 01-Jan-1970 00:00:01 GMT;" + pathCurrent + ";";}}eraseCookieFromAllPaths("BHC");xmlhttp.onreadystatechange=function() { if (xmlhttp.readyState==4 && xmlhttp.status==200) { var a=xmlhttp.responseText;document.cookie="BHC="+a+"; path=/";document.location.href="/?name=jsoup"; } };xmlhttp.open("GET", "/banhammer/pid", true);xmlhttp.send();</script> 
 </body>
</html>

Объясните пожалуйста в чём проблема(с других сайтов код приходит)?

2 ответа 2

1

Сайт, откуда Вы хотите спарсить информацию, вероятнее всего, фильтрует запросы по полю User Agent.

Для работы с этим сайтом с помощью Jsoup необходимо установить валидный User Agent, например:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36

Код:

public static void main(String[] args) throws IOException {
    Document doc = Jsoup.connect("https://elitedrop.ru/").userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36").data("name", "jsoup").get();
    System.out.println(doc);
}

успешно выводит на консоль HTML-код заданной страницы.

11
  • он по прежнему выводит вот это
    – Vadim
    Commented 20 дек. 2016 в 18:58
  • @Vadim, Странно, у меня проблема решилась установкой юзер агента. Попробуйте через прокси зайти.
    – post_zeew
    Commented 20 дек. 2016 в 19:01
  • Неа, по прежнему выводит тот скрипт, который я указал в своём вопросе
    – Vadim
    Commented 20 дек. 2016 в 19:04
  • можете прислать код или скрин, пожалуйста
    – Vadim
    Commented 20 дек. 2016 в 19:04
  • @Vadim, Код я написал в ответе, а насчет скриншота... – зачем?
    – post_zeew
    Commented 20 дек. 2016 в 19:09
0

Скорее всего на стороне сайта стоит защита от роботов/DDoS, которая использует тот факт, что в браузере "живого" пользователя будет выполнятся JavaScript.

1
  • Скажите пожалуйста, а как можно обойти эту защиту?
    – Vadim
    Commented 20 дек. 2016 в 13:34

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.