Требуется:
- Авторизоваться на сайте;
- Определить количество страниц с которых будем скачивать информацию (отправляем get запрос, получаем ответ в котором ссылки на страницы. Ссылки имеют одинаковый формат, в конце строки в параметре посто меняется номер страницы);
- Не перелогиниваясь нужно скачать информацию с различных страниц в несколько потоков под своим аккаунтом. Количество потоков требуется указать самостоятельно.
Делаю примерно так(некоторые параметры отсутствуют)
public class Downloader {
private static final Logger LOGGER = LoggerFactory.getLogger(Downloader.class);
private String domainLink;
private String sourceHtmlPage;
ExecutorService executorService;
CloseableHttpAsyncClient httpClient;
private HttpEntity entity = null;
private HttpResponse response;
private HttpGet httpget;
Map<String, String> pagesNamesAndKeys;
public Downloader() throws IOException, ExecutionException, InterruptedException {
CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
httpClient = HttpAsyncClients.custom()
.setDefaultCredentialsProvider(credentialsProvider)
.setMaxConnPerRoute(1000)
.setMaxConnTotal(1000)
.build();
httpClient.start();
if (autorizateOnServer()) {
getpageList();
executorService = Executors.newFixedThreadPool(10, new DaemonThreadFactory());
for (Map.Entry<String, String> pageKeyAndName : pagesNamesAndKeys.entrySet()) {
executorService.submit(new PageInfo( httpClient, pageKeyAndName.getKey()));
}
LOGGER.info("Added all threads into executor");
LOGGER.info(executorService.toString());
while (((ThreadPoolExecutor)executorService).getActiveCount() > 0) {
System.out.print("#");
Thread.sleep(5000);
}
LOGGER.info("Complete");
} else {
httpClient.close();
}
// logout(logoutLink);
}
private boolean autorizateOnServer() {
String urlForLogin = "http://pagewithinfo.com/webmaster.php";
Boolean loginIsTrue = false;
String tempLocationHeader;
HttpPost httpPost;
List<NameValuePair> nvps = new ArrayList<NameValuePair>();
String userName = "myLogin";
String password = "pass";
httpPost = new HttpPost(urlForLogin);
nvps.add(new BasicNameValuePair(formFieldUser, userName));
nvps.add(new BasicNameValuePair(formFieldPassword, password));
try {
httpPost.setEntity(new UrlEncodedFormEntity(nvps, "UTF-8"));
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
try {
Future<HttpResponse> future = httpClient.execute(httpPost, null);
response = future.get();
entity = response.getEntity();
String sourceHttpPage = EntityUtils.toString(entity);
tempLocationHeader = String.valueOf(response.getFirstHeader("Location"));
if (tempLocationHeader.equals("Location: webmaster.php")) {
LOGGER.info(tempLocationHeader);
loginIsTrue = true;
} else {
LOGGER.info("pagewithinfo login false");
}
} catch (IOException e) {
e.printStackTrace();
LOGGER.info(urlForLogin + " - Не удалось залогиниться :( Exception");
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
return loginIsTrue;
}
private void getpageList() throws IOException, ExecutionException, InterruptedException {
httpget = new HttpGet("http://pagewithinfo.com/webmaster.php?content=stat");
Future<HttpResponse> future = httpClient.execute(httpget, null);
response = future.get();
entity = response.getEntity();
String sourseHttpPage = EntityUtils.toString(entity);
Document doc = Jsoup.parse(sourseHttpPage);
Element form = doc.select("select[name=\"filter_idproduct\"]").first();
Elements idProducts = form.getElementsByTag("option");
String pageid;
String pageName;
pagesNamesAndKeys = new HashMap<String, String>();
for (Element idProduct : idProducts) {
pageid = idProduct.attr("value");
pageName = idProduct.text();
if (!pageid.equalsIgnoreCase("") && !pageid.equalsIgnoreCase("0")) {
pagesNamesAndKeys.put(pageid, pageName);
//добавить сайт в DB
}
}
}
private void logout(String link) throws IOException {
// httpget.setURI(URI.create(link));
// httpСlient.execute(httpget);
// LOGGER.info("Logout pagewithinfo");
}
}
При этом закачка всегда идет в один поток, а не в 10 как в настройках. Все потоки почему-то в состоянии wait всегда, а потом вообще закрываются. Нужно именно через Executor (или похожий вариант), так как потоки постоянно могут добавляться, если залогинется на другой сайт и запустить скачивание инфы со страниц.
Как реализовать данную задачу?
Обновление
Спасибо за наводку. До этого всё было правильно у меня сделано, потом посмотрел в сторону CloseableHttpAsyncClient
, так как не знал, что по умолчанию качает в 2 потока, нужно увеличить данное значение setDefaultMaxPerRoute()
.
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
cm.setMaxTotal(50);
cm.setDefaultMaxPerRoute(50);
httpСlient = HttpClients.custom()
.setConnectionManager(cm)
.build();