2

Стоит следующая задача: в базе данных есть миллион записей, нужно сделать выборку всех записей. Сказали, что выборку сразу всего миллиона записей производить плохо для памяти.

Нужна реализация spring-data-jpa пагинации без использованных параметров. То есть у меня в Service, на контроллер будут передаваться уже отфильтрованные данные, но для того, чтобы отфильтровать нужно перебрать все записи, нужно сделать перебор по 10-20тыс записей.

Вот как сейчас выглядит мой Service. В pageable, размер страницы стоит 5 это просто для примера.

@Transactional
public List<Contact> getAllContactByFilter(String filter) {
    List<Contact> result = new ArrayList<>();
    Page<Contact> contactList = contactRepository.findAll(createPageRequest());
        logger.info("contList size: " + contactList.getSize());
        Pattern p = Pattern.compile(filter);
        Matcher matcher = null;
        logger.info("get all contacts by filter");
        for (Iterator<Contact> iterator = contactList.iterator(); iterator.hasNext();) {
            Contact currentContact = iterator.next();
            matcher = p.matcher(currentContact.getName());
            if (matcher.matches()) {
                iterator.remove();
            }
    }

    return result;
}

private Pageable createPageRequest() {
    PageRequest request = new PageRequest(0, 5);
    return request;
}
3
  • В чем ваш вопрос? Commented 9 сент. 2016 в 19:42
  • В данной реализации идёт только один запрос в базу и выбираются первые 5 записей. Нужно, чтобы в зависимости от того какой я размер страницы указал ишли запросы в БД вытаскивались записи, проверялись matcher и добавлялись в список result. Тоесть был проход всех записей в БД, но не за один раз. Commented 9 сент. 2016 в 20:22
  • Где-то в документации Spring-Data-JPA что-то такое было, но искать за вас лень. Вы уже там искали? Commented 10 сент. 2016 в 8:28

1 ответ 1

1

Если я Вас правильно понял, то это будет выглядеть примерно так:

public List<Contact> getAllContactByFilter(int pageSize, String filter){
    List<Contact> result = new ArrayList<>();
    PageRequest request = new PageRequest(0, pageSize);
    Page<Contact> page = contactRepository.findAll(request);
    for (int i = 0; i <= page.getTotalPages(); i++) {
        List<Contact> listPage = contactRepository.findAll(request.next()).getContent();
        //фильтрация
        result.addAll(listPage);
    }
    return result;
}

т.е. вы пройдете по всем записям с выбранным вами количеством этих записей на одну страницу.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.