5

Для онлайн-игры пишу прогу, которая позволит получать полезные данные. Есть два метода, которые возвращают стоимость конкретного оружия на рынке для одной страны и для всех стран (74) вместе.

public void getCheapestWeapon(Weapon weapon) {
    //long result = 0;
    Map<String, Integer> countryAndId = allCountries.getCountryAndId();
    for (Map.Entry<String, Integer> item : countryAndId.entrySet()) {
        //long start = System.currentTimeMillis();
        getCheapestWeapon(item.getKey(), weapon);
        //long finish = System.currentTimeMillis();
        //System.out.println(finish - start);
        //result += finish - start;
    }
    //System.out.println(result);
}

public void getCheapestWeapon(String country, Weapon weapon) {
    long start = System.currentTimeMillis();
    String link = MARKET_LINK
            + allCountries.getCountryId(country)
            + "/" + weapon.getPlaceOnMarket()
            + "/" + weapon.getQuality()
            + "/" + ADDITIONAL_LINK;
    try {
        Document page = Jsoup.connect(link)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36")
                .cookies(cookies)
                .timeout(1000)
                .get();
        Elements table = page.getElementsByClass("price_sorted");
        Element row = table.select("tr").first();
        Elements columns = row.getElementsByTag("td");
        Element priceCell = columns.get(3);
        String priceStr = priceCell.text();
        double price = Double.parseDouble(priceStr.substring(0, priceStr.length() - 4));
        System.out.println(country + " - " + price);
    } catch (IOException e) {
        e.printStackTrace();
    }
    //long finish = System.currentTimeMillis();
    //System.out.println(finish - start);
}

Проблема в том, что при получении данных для всех стран, время на парсинг составляет в среднем 16-18 секунд что, согласитесь, очень много. Пробовал в первом методе засунуть getCheapestWeapon(item.getKey(), weapon) в отдельный поток. Ничего хорошего это не дало. Как можно реализовать одновременный парсинг всех 74-х страниц?

2
  • 2
    Если вы пишете реально онлайн-игру, а не читерскую тулзу, то заведите на сервере WebAPI, чтобы не нужно было заниматься совершенно ненужным парсингом HTML.
    – VladD
    9 янв 2016 в 14:38
  • Это именно тулза для игры, читерского ничего нет. Просто полезная инфа, чтобы не считать все вручную
    – driversti
    10 янв 2016 в 16:53

1 ответ 1

4

В текущем виде (результаты работы getCheapestWeapon просто выводятся на консоль) проще всего использовать стандартный ExecutorService

public void getCheapestWeapon(Weapon weapon) {
    final int THREADS = 4;
    ExecutorService pool = Executors.newFixedThreadPool( THREADS );

    Map<String, Integer> countryAndId = allCountries.getCountryAndId();
    for (Map.Entry<String, Integer> item : countryAndId.entrySet()) {
        pool.execute( () -> getCheapestWeapon( item.getKey(), weapon ) );
    }

    pool.shutdown();
}

Если операция не разовая, то нужно вынести создание и остановку сервиса из метода. Т.к. основная задержка, скорее всего из-за сети (74 запроса, даже если пакет идет от клиента до сервера 50мс, съедят 7 секунд), число процессов в сервисе может превышать количество ядер (подберите экспериментально).

В качестве альтернативы, попробуйте получать у сервера больше данных меньшим количеством запросов, например убрав фильтр по странам, если вам нужна самая низкая цена.

3
  • Спасибо большое!!! Субъективно, код выполняется секунды 3. Правда я воспользовался методом newCachedThreadPool(). Подобный код может выполняться неограниченное количество раз, так как объектов Weapon есть 7 видов. Кроме него есть 7 объектов типа Food, 5 - Tickets и т.д. Эти данные в перспективе будут визуально отображаться в приложении JavaFX. В консоль я вывожу для тестов. Ещё нужно реализовать сортировку по цене. Не совсем понял ваш крайний абзац. Мне как раз и надо узнать, в какой стране самая дешевый товар, ведь на этом будет строится внутриигровой бизнес.
    – driversti
    11 янв 2016 в 10:59
  • @UnknownPerson , я думал, что можно просто одним запросом узнать, самую низкую цену на предмет. Но если это основа игры, то что делать. А HTTP/2 игрой не поддерживается? Его вроде специально для решения таких проблем ввели.
    – zRrr
    11 янв 2016 в 12:28
  • я не знаю поддерживает ли он HTTP/2 да и сам с этим не знаком. На самом деле одним запросом не узнать, так как нужно обращаться к разным страницам. Каждая страна имеет свой рынок
    – driversti
    11 янв 2016 в 12:56

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.