0

У меня есть csv файл(большой), я его считываю в БД. потом нужно по этим считанным данным сформировать отчет. и тут вопрос, как делать эти отчеты? на данный момент для формирования каждого отчета я хожу в БД и работает это очень долго(т.к. > 100т записей). как ускорить обработку? на данный момент есть идея подключить кеширование, но раньше с ним не работал, так что не знаю насколько это ускорит процесс.

И еще пара вопросов:

  • я использую Spring Data, и для некоторых отчетов использую @Query(sql запрос), такой подход целесообразен или лучше выгрузить все данные куда-то и руками все делать?

  • как правильно вызвать метод в контроллере, который выгружает данные из csv в БД? На данный момент у меня в конструкторе контроллера это происходит:

    @Autowired
    public Controller(Service service) {
        this.service= service;
        service.saveDataToDB();
    } 
    

    Но такой способ сильно режет глаз и я подозреваю, что это неправильно

2
  • 100 000 записей - это очень мало, надо постараться чтобы их обработка была медленной. 13 апр 2019 в 16:09
  • @SergeyGornostaev посмотрел, обработка идет быстро. проблема заключается в том, что я вызываю метод findAll(), который долго считывает данные из БД. мне не нравится, что я считываю данные из csv в бд, а потом еще несколько раз обращаюсь к бд за теми же данными.
    – Alex
    13 апр 2019 в 16:18

1 ответ 1

1

по определенным ошибкам БД разрослась до >1млн записей, поэтому работало долго. тем не менее, подключил кэш и повесил индекс на таблицу-> стало быстрее отрабатывать(потом от ошибки избавился)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.