Помогите советом. Создаю приложение на Spring Boot, которое будет оперировать большим количеством данных, при этом важна оперативность этой обработки.
Для примера:
50 таблиц, в каждой цены на какие-то товары/услуги. Записей в таблице от 5000. Каждая таблица отдельный поставщик товаров и услуг. Цены на товары и услуги обновляются раз 5-10 минут, т.е. все 5000 записей обновляются. Необходимо оперативно сравнивать цены товаров/услуг между поставщиками. Выборка будет соответственно по каждым товарам/услугам, в том числе Join-ы, т.к. у некоторые товары могут иметь состовляющие, которые имеют свои цены. Дальше значения по выбранному товару/услуге будут сравниваться между всеми поставщиками.
Логичное решение для увеличения производительности, я вижу в использовании Memory таблиц. Собственно, хотелось бы услышать совет от опытных в этом деле. Какими средствами это реализовать? Стоит ли использовать ORM и Hibernate, или они только утяжелят все транзакции? Подойдет ли Embeded база Sprin Boot-а или лучше использовать стороннюю?