1

Написал приложение на JavaFX которое через webengine парсит страницы, потом с помощью jsoup берутся значения элементов и выводятся в таблицу. Проблема в том, что чем больше работает приложение, тем больше оно съедает оперативки (через пару часов работы может съесть под 8 гб). Запускал с jprofiler, но все параметры вроде в норме и куча не увеличивается. Не понимаю в чем проблема

jprofiler

8
  • Дебаг режим пробовали? Посмотрите что у вас в циклах творится, правильно ли закрывается соединение, не используете ли вы String в циклах? 19 фев 2017 в 11:54
  • Сам код возможно увидеть? У вас явная утечка
    – GenCloud
    19 фев 2017 в 13:39
  • @GenCloud, drive.google.com/file/d/0B-Bsa-UzKnsUbGU3ZURRbzFPUVE/…
    – mckay
    19 фев 2017 в 13:48
  • Операционная система не Unix-like случайно?
    – Andrey M
    20 фев 2017 в 10:58
  • @AndreyM, нет, windows 7
    – mckay
    20 фев 2017 в 15:36

2 ответа 2

1

Исходя из кода:

Утечка памяти у вас находится в PermGen(jdk 1.7) или Metaspace(jdk 1.8) из-за неправильного использования intern()

https://habrahabr.ru/post/79913/

https://stackoverflow.com/questions/10578984/what-is-string-interning

Второй момент: Jsoup сам прекрасно справляется с получением страницы, если вам нужен кроме получения станицы WebEngine больше не нужен то лучше использовать только Jsoup

https://jsoup.org/cookbook/input/load-document-from-url

Третий момент:

        doc = null;
        state = null;
        interests = null;
        name = null;
        str = null;
        city = null;
        lastActivity = null;
        age = 0;
        iAmt = 0;
        Runtime.getRuntime().gc();
        Runtime rt = Runtime.getRuntime();
        try {
            rt.exec("free -m");
        } catch (IOException e) {
            e.printStackTrace();
        }

Уберите и этот кусок кода. Причина - обнуление здесь не поможет, обнуление примитивов тем более, ручной вызов gc не поможет.

http://www.oracle.com/webfolder/technetwork/tutorials/obe/java/gc01/index.html

Попробуйте установить -XX:MaxPermSize=???m чтобы проверить переполнение perm gen

4
  • Тот код уже был устаревшим. Сейчас внес изменения в документе по ссылке. Дало небольшой эффект после установки размера истории движка на 0. Объем потребления растет, но не так интенсивно, значит видимо основная утечка это не история. Убрал intern(). Я бы и рад пользоваться только jsoup, но на сколько я знаю, он не работает с js на сайте. Metaspace в районе 30mb. Обнуления конечно да, не дают толка, но если не вызывать gc, то потребление сразу растет до ~1.7 gb, против 400-500 mb
    – mckay
    24 фев 2017 в 20:31
  • @mckay так что дало профит? изменение размера истории или intern()? Очень интересно.... 24 фев 2017 в 20:43
  • 1
    Размер истории. В самом начале у меня было без intern(), потом нашел информацию что вроде как intern() может помочь решить проблему, но толку все равно не было. Но один фиг, даже с нулевой историей, пара часов работы и оперативе конец.
    – mckay
    25 фев 2017 в 8:16
  • @mckay Оформите в виде ответа, чтобы те у кого будет подобный вопрос не искали в комментариях. Спасибо 25 фев 2017 в 8:21
1

Проблема частично решилась установкой размера истории движка на 0

engine.getHistory().setMaxSize(0);

В моем случаи после холодного старта, 20 мин работы программы, потребляют вместо ~1gb, ~830mb. Но все равно, чем дольше работает программа, тем больше она потребляет.

upd: проблема кроется в jdk8. При загрузке большого кол-ва страниц у WebEngine происходит заметная утечка памяти. В jdk9 проблема решена

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.