Стоит следующая задача: в базе данных есть миллион записей, нужно сделать выборку всех записей. Сказали, что выборку сразу всего миллиона записей производить плохо для памяти.
Нужна реализация spring-data-jpa
пагинации без использованных параметров. То есть у меня в Service
, на контроллер будут передаваться уже отфильтрованные данные, но для того, чтобы отфильтровать нужно перебрать все записи, нужно сделать перебор по 10-20тыс записей.
Вот как сейчас выглядит мой Service
. В pageable
, размер страницы стоит 5 это просто для примера.
@Transactional
public List<Contact> getAllContactByFilter(String filter) {
List<Contact> result = new ArrayList<>();
Page<Contact> contactList = contactRepository.findAll(createPageRequest());
logger.info("contList size: " + contactList.getSize());
Pattern p = Pattern.compile(filter);
Matcher matcher = null;
logger.info("get all contacts by filter");
for (Iterator<Contact> iterator = contactList.iterator(); iterator.hasNext();) {
Contact currentContact = iterator.next();
matcher = p.matcher(currentContact.getName());
if (matcher.matches()) {
iterator.remove();
}
}
return result;
}
private Pageable createPageRequest() {
PageRequest request = new PageRequest(0, 5);
return request;
}