4

Есть сайт, который по коду выдает данные (ответы). Т.е., в форму поиска вписывается код, нажимается Enter или кнопка поиска, и сайт выдает текст в табличке.

До этого никогда парсингом с сайтов не занимался, только писал на java.

Как реализовать такую программу?

1
  • Если вам дан исчерпывающий ответ, отметьте его как верный (галка напротив выбранного ответа). 10 янв 2016 в 23:58

4 ответа 4

6

Вы можете использовать библиотеку Jsoup, которая позволяет загружать нужную web-страницу/файл и искать/извлекать данные с использованием css селекторов, либо стандартным обходом DOM.

Для заполнения формы и получения результатов запроса необходимо получить адрес запроса и его параметры, затем просто эмулировать запрос с нужными параметрами. Например:

Document doc = Jsoup.connect(url)
    .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
    .data("action", "login")
    .data("user", "user")
    .data("password", "123456")
    .post();
1
  • Или просто используйте URLConnection и пишите в него заголовки (Post.USER AGENT):) +не забудьте куко класс прилипить. 11 сен 2016 в 12:38
2
  1. Получаешь html текст сайта в String (например, post или get запросом)
  2. Используешь str.substring str.indexOf для получение нужного текста из html

В общем, если ответ не json или не xml, то просто работай со строками. Если ответ в json, то найди какую-нибудь библиотеку для парсинга json

2
  • 1
    Да, когда я получу данные, я уже придумаю как их обработать. Вопрос скорее заключается в том, как автоматизировать ввод кодов и нажатие enter (кнопки поиск) для того чтобы получить эти данные. Как объяснить java что нужно вписать код в окно поиска и "нажать Enter"?
    – Ataroshe
    10 янв 2016 в 17:42
  • Код не надо вводить в поля в привычном для вас понимании. Любая информация отправляется параметрами get и post. Если не знаете, что такое <form> в html, почитайте. Думаю, это вам поможет 11 янв 2016 в 23:00
2

Попробуйте что-то подобное:

HttpClient httpClient = HttpClients.createDefault();
HttpPost httpPost = new HttpPost("url");

List<NameValuePair> parameters = new ArrayList<>();
parameters.add(new BasicNameValuePair("code", "1111"));
httpPost.setEntity(new UrlEncodedFormEntity(parameters, "UTF-8"));

HttpResponse httpResponse = httpClient.execute(httpPost);
1

Как я понял тебе нежно знать как забрать от них данные.

По сути тебе придётся профайлером посмотреть какой запрос возвращает ответ на страницу сайта и симулировать его.

В большинство поисков если они открыты для гугла то после нажатия на Интер происходит редирект на другую страницу с параметрами запроса. Вот тебе придётся и генерировать этот урл и забирать по нему данные.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.