0

Есть большая таблица history, ежедневно добавляется 1 млн строк. Делать выборку из одной таблицы очень ресурсозатратно и запросы выборки данных для определенного юзера за определенный интервал времени идут долго. Я думаю сделать разбиение таблиц по дням history_день_месяц_год, и промежуточную таблицу с днями когда юзера есть история за дни, чтобы не перебирать все таблицы, а только за те дни, когда записывалась история. Насколько имеет смысл партицирование в данной ситуации? Ведь иначе таблица будет увеличиваться до той поры, пока сервер уже совсем не справится с нагрузкой. Какие есть варианты решения?

9
  • 1
    Вместо портиций можно шардировать по самим юзерам. Завести штук 10-100 таблиц и писать для юзера с id в таблицу с номером id % <число шардов>. Плюс посмотреть бы на индексы в таблице. Плюс можно ввести холодное хранилище и выносить в него старые редко используемые записи.
    – Lexx918
    11 сен 2020 в 14:53
  • Индекс по дате создания и id. Но таблица всё равно будет очень сильно расширяться. 11 сен 2020 в 15:37
  • @РодионЛарин начать стоит с того, что "делать выборку из одной таблицы" так или иначе выгоднее чем тот же по сути запрос но из нескольких таблиц (join). Как отметил Lexx918, вам необходимо перепроектировать индексы прямо в соответствии с запросами, которые вы будете выполнять. Либо же перепроектировать хранение данных, распределенных на нескольких серверах - но это уже вопрос не оптимизации запросов, но архитектуры решения в целом. 11 сен 2020 в 15:47
  • @timnavigate, фактически индекс это время и id пользователя. Но как будет работать выборка для миллиардов и сотен миллиардов записей 11 сен 2020 в 16:11
  • 1
    На этот вопрос невозможно ответить "в общем". В первую очередь, нужно знать какие запросы будут выполняться. 11 сен 2020 в 16:48

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Посмотрите другие вопросы с метками или задайте свой вопрос.