5

jUnit тесты работают с большими объемами данных, в частности, данная ошибка возникает, когда считываем данные из базы в объект.

ОЗУ - 16 Гб, 4 виртуальных процессора

когда возникла ошибка

java.lang.OutOfMemoryError: GC overhead limit exceeded
at sun.reflect.GeneratedConstructorAccessor47.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
at java.lang.Class.newInstance(Class.java:442)

то я добавил параметр -XX:-UseGCOverheadLimit но получил следующую ошибку:

java.lang.OutOfMemoryError: GC overhead limit exceeded
    at java.lang.reflect.Field.copy(Field.java:150)
    at java.lang.reflect.ReflectAccess.copyField(ReflectAccess.java:144)
    at sun.reflect.ReflectionFactory.copyField(ReflectionFactory.java:309)
    at java.lang.Class.copyFields(Class.java:3115)
    at java.lang.Class.getFields(Class.java:1557)
    at main.java.DataFormat.DbTable.loadObjectFromResultSet(DbTable.java:101)
    at main.java.DataFormat.DbTable.getEntities(DbTable.java:57)

все параметры JVM -Xmx8192M -XX:-UseGCOverheadLimit

в момент появления ошибки были следующие параметры системы: ОЗУ стабильно на 46% (7400Мб), ЦПУ 77%-82% (82% в момент появления ошибки)

подскажите, как исправить данную проблему?

Спарвка

  1. java.lang.OutOfMemoryError: GC overhead limit exceeded

Данная ошибка может возникнуть как при переполнении первой, так и второй областей. Связана она с тем, что памяти осталось мало и GC постоянно работает, пытаясь высвободить немного места. Данную ошибку можно отключить с помощью параметра -XX:-UseGCOverheadLimit, но, конечно же, её надо не отключать, а либо решать проблему утечки памяти, либо выделять больше объема, либо менять настройки GC.

Ответ
String объект слишком много весит. а у меня там очень много стрингов. Для примера, посчитали файл, который весит 250 МБ, имеет 1600 символов в строке и 220 000 строк. Заполняю в ArrayList<String> lines, где каждая строка записана как объект из 250 полей, которые принимают значение из 1600 символов. Такой объект весил чуть больше 6Гб.

Решение: увеличил память до 14Гб. теперь проблема в том, что 6Гбайтный объект не помещается в куче, надо думать что-то другое и пожертвовать временем выполнения теста.

1
  • А где этот параметр задаётся? -XX:-UseGCOverheadLimit
    – user219650
    9 сен 2016 в 13:41

2 ответа 2

9
+50

В данном случае ошибка java.lang.OutOfMemoryError: GC overhead limit exceeded говорит о том, что Вы пытаетесь обработать такой объем данных который не помещается в память. В приведенной Вами справке упомянуто, что ошибка выбрасывается, когда область памяти, занимаемая только, что созданными объектами переполняется. Плюс к этому в трассировке стека видно, что ваши классы (

at main.java.DataFormat.DbTable.loadObjectFromResultSet(DbTable.java:101)
at main.java.DataFormat.DbTable.getEntities(DbTable.java:57)

) в момент получения ошибки как раз пытаются выгрузить данные из базы.

Поэтому простой и неутешительный вывод из вышесказанного тестируйте на меньшем объеме данных или выделяйте больший объем под выгружаем данные(-Xmx12000M) если они туда поместятся, то ошибка исчезнет. Настраивать сборку мусора в данном случае бесполезно т.к. GC не сможет удалить загружаемые объекты потому как они еще используются.

13
  • посмотрим. результат увидим завтра 18 июл 2016 в 6:43
  • если не ошибаюсь, больше 8Гб под Xmx не рекомендуется выделять 18 июл 2016 в 6:47
  • @Senior Automator, но если очень хочется то можно. 18 июл 2016 в 6:51
  • @Senior Automator, а если серьезно то зависит от задачи, и если у Вас данные не помещаются в память то выбора у Вас не будет либо обрабатывать их частями, обрабатывать не в памяти(а например в БД) или увеличить допустимы размер heapа. 18 июл 2016 в 7:04
  • 1
    String объект слишком много весит. а у меня там очень много стрингов. Для примера, посчитали файл, который весит 250 МБ, имеет 1600 символов в строке и 220 000 строк. Заполняю в ArrayList<String> lines, где каждая строка записана как объект из 250 полей, которые принимают значение из 1600 символов. Такой объект весил чуть больше 6Гб. Решение: увеличил память до 14Гб. теперь проблема в том, что 6Гбайтный объект поместить в куче или думать что-то другое. 21 июл 2016 в 7:27
7

Начту с основ для лучшего понимания ошибки.

JVM имеет две области памяти: Heap Memory и Non-Heap Memory.

  • Heap Memory - хранит объекты;
  • Non-Heap Memory - хранит параметры методов, примитивные типы и т.д.

JVM memory structure

В Вашем случае происходит переполнение Heap Memory, т.к. очень много создается объектов, которые не вмещаются в Heap Memory. Решить проблему можно увеличив Heap Memory (ключ -Xmx), что не всегда помогает, т.к. объем данных может быть больше чем доступно ОЗУ, поэтому лучше реализовать обработку данных из БД порционно, т.е. выгружать часть данных, чтобы объекты поместились в памяти, затем убивать их (присваивать null, чтобы GC разгрузить), замет следующею часть и т.д.

P.S. Стоит понимать, что Heap не равно ОЗУ. Heap - это только зарезервированная память для JVM, больше данного резерва JVM использовать не может даже, если ОЗУ в избытке.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.