jUnit тесты работают с большими объемами данных, в частности, данная ошибка возникает, когда считываем данные из базы в объект.
ОЗУ - 16 Гб, 4 виртуальных процессора
когда возникла ошибка
java.lang.OutOfMemoryError: GC overhead limit exceeded
at sun.reflect.GeneratedConstructorAccessor47.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
at java.lang.Class.newInstance(Class.java:442)
то я добавил параметр -XX:-UseGCOverheadLimit
но получил следующую ошибку:
java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.lang.reflect.Field.copy(Field.java:150)
at java.lang.reflect.ReflectAccess.copyField(ReflectAccess.java:144)
at sun.reflect.ReflectionFactory.copyField(ReflectionFactory.java:309)
at java.lang.Class.copyFields(Class.java:3115)
at java.lang.Class.getFields(Class.java:1557)
at main.java.DataFormat.DbTable.loadObjectFromResultSet(DbTable.java:101)
at main.java.DataFormat.DbTable.getEntities(DbTable.java:57)
все параметры JVM -Xmx8192M -XX:-UseGCOverheadLimit
в момент появления ошибки были следующие параметры системы: ОЗУ стабильно на 46% (7400Мб), ЦПУ 77%-82% (82% в момент появления ошибки)
подскажите, как исправить данную проблему?
Спарвка
- java.lang.OutOfMemoryError: GC overhead limit exceeded
Данная ошибка может возникнуть как при переполнении первой, так и второй областей. Связана она с тем, что памяти осталось мало и GC постоянно работает, пытаясь высвободить немного места. Данную ошибку можно отключить с помощью параметра -XX:-UseGCOverheadLimit, но, конечно же, её надо не отключать, а либо решать проблему утечки памяти, либо выделять больше объема, либо менять настройки GC.
Ответ
String
объект слишком много весит. а у меня там очень много стрингов. Для примера, посчитали файл, который весит 250 МБ, имеет 1600 символов в строке и 220 000 строк. Заполняю в ArrayList<String> lines
, где каждая строка записана как объект из 250 полей, которые принимают значение из 1600 символов. Такой объект весил чуть больше 6Гб
.
Решение: увеличил память до 14Гб
. теперь проблема в том, что 6Гбайтный объект не помещается в куче, надо думать что-то другое и пожертвовать временем выполнения теста.