10

Помогите советом. Создаю приложение на Spring Boot, которое будет оперировать большим количеством данных, при этом важна оперативность этой обработки.

Для примера:

50 таблиц, в каждой цены на какие-то товары/услуги. Записей в таблице от 5000. Каждая таблица отдельный поставщик товаров и услуг. Цены на товары и услуги обновляются раз 5-10 минут, т.е. все 5000 записей обновляются. Необходимо оперативно сравнивать цены товаров/услуг между поставщиками. Выборка будет соответственно по каждым товарам/услугам, в том числе Join-ы, т.к. у некоторые товары могут иметь состовляющие, которые имеют свои цены. Дальше значения по выбранному товару/услуге будут сравниваться между всеми поставщиками.

Логичное решение для увеличения производительности, я вижу в использовании Memory таблиц. Собственно, хотелось бы услышать совет от опытных в этом деле. Какими средствами это реализовать? Стоит ли использовать ORM и Hibernate, или они только утяжелят все транзакции? Подойдет ли Embeded база Sprin Boot-а или лучше использовать стороннюю?

12
  • А вам вообще нужна реляционная БД для этого?
    – Nofate
    15 сен 2016 в 14:56
  • 3
    Мне кажется, что это все в большей степени вопросы к базе данных -- какую взять, как настроить. Я б взял PostgreSQL. Не удивлюсь, если даже на средней машинке у вас не будет проблем, главное индексы не забудьте поставить :) Hibernate я бы брать не стал в любом случае. 15 сен 2016 в 15:02
  • 8
    @Алексей а вообще лучше сначала сделать чтоб тупо работало, а потом уже изголяться по поводу ускорения по мере необходимости. Как когда-то верно заметил Дональд Кнут - "преждевременная оптимизация - корень всех зол".
    – DEADMC
    15 сен 2016 в 15:23
  • 2
    Возможно (как вариант, я сам не проверял, это только предположение), в случае, если данные нужно просто временно хранить для обработки (сравнения) и со временем удалять, в качестве хранилища использовать какое-то NoSQL решение, заточенное на скорость (например, Aerospike), которое умеет отдавать данные быстро, а также имеет функцию очистки устаревших данных. Но, ИМХО, как тут уже правильно заметили, это не те объемы, на которых заметите разницу.
    – lospejos
    10 окт 2016 в 7:28
  • 2
    С каких это пор обновление 5 тыс. записей раз в 5-10 минут является тяжелой задачей - я весь в недоумении...
    – Barmaley
    30 мар 2017 в 11:50

2 ответа 2

1

Во-первых, под вашу небольшую нагрузку (обновление 5000 записей раз в 5-10 минут) сгодится практически любая БД.

Рекомендую не изощряться с Memory (если не знаете как пользоваться скорее потеряете данные, чем получите производительность), ORM и Hibernate, и тем более пока не переходить на PostgreSQL или NoSQL (это решения для очень больших объемов данных, целесообразно начинать их использовать при таблицах от 100-200 млн. записей и более). Для вашей задачи используйте классический MySQL.

Во-вторых, что касается производительности, сделайте следующее:

  • обязательно проставьте индексы в соответствии с вашим профилем нагрузки
  • выполняйте UPDATE не единичными запросами, а пачками под максимальную длину используемого у вас SQL-запроса (на практике это намного ускоряет производительность).
  • выполните запросы в транзакциях.
  • в качестве ключей для поиска строк при обновлении данных старайтесь использовать только INT значения (а еще лучше, если этот столбец будет и PRIMARY KEY).

P.S. На будущее рекомендую отходить от JOIN'ов в сторону денормализации данных. Запросы с объединением нескольких таблицы плохо масштабируются, когда сама база уже не влезает на один сервер.

-2

Если стоит условие отказаться от базы данных и ускорить работу приложения, то используйте только файлы - вытащили данные , например с xml, сравнили , изменили и опять закинули туда же, чтобы освободить память. Но приросте данных у вас будет константа обработки их- тоесть все будет работать достаточно быстро, но оперативную память будет кушать не мало....

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.