1

есть таблица с начала года на 38 млн записей. индексы стоят, но вот инзерт по 2 секунды - не к добру. решил сделать партицирование. на тестовом серваке выборка без индексов увеличилась в 60 раз. вроде ляпота. но вот заливалось это в тестовую базу 10 часов.

вопрос 1 - если я просто повешу функцию патрицирования на живую базу, не замаричиваясь предыдущими данными - как это скажется на быстродействии?

вопрос 2 - если данные предпожим трехмесячной давности хранить не как значения по минутам, а среднее за час - как это корректно сделать?

UPD

нет будут у меня старые данные. просто они будут лежать в мастере. а вот новые будут писаться в партиции. а по поводу функции (скорее уж тригер) - как мне её по времени запускать? я уж больше думаю о скрипте на питоне, который раз в месяц будет дампить старые партиции, чистить таблицу и записывать агрегированные данные. но вот в партиции 7 млн строк. потянет ли питон? было б наверно правильно демона\скрипт написать для медленной обработки патриции. например раз в 30 минут брал бы данные из партиции (например за один день), обрабатывал их, удалял старые, заливал новые агрегированные. а вот про флаг обработаны данные или нет хорошо придумано. но можно и от интервала скакать.


3 вопрос - я использую данные для рисования статистики. То есть длинные прямые с одинаковым значением можно и через 2 значения построить. Есть ли способ "выкусить" длинные поток одинаковых данных

2
  • 1
    на вопрос 3 есть решения, но может Вам стоит создать отдельный вопрос. Что бы не все в одном вопросе было?
    – Saidolim
    16 июн 2015 в 7:40
  • @des1roer, в следующий раз оформляйте, пожалуйста, отдельные вопросы.
    – Nofate
    16 июн 2015 в 8:41

1 ответ 1

0
  1. Если Вы использовали MasterTable. И правильно создали алгоритм порцирования, тогда проблем не будет. Просто у Вас не будут старые данные.

  2. Для таких работ как обработка данных с промежуточной времени лучше сделать функцию. И запускать функцию каждый час. Функция сама выберет данные, обрабатывает и сохраняет на новую таблицу (или этому же с флагом обработанный), и удаляет не нужные данные (или перемешает в другую таблицу - архив)

  3. Самое лучшее если Вы еще не успели сделать, создайте функцию для Insert в таблицу. И тогда появится возможность дополнительно делать вспомогательные действия.

P.S. для задачи 1 проверьте индексацию еще раз. У меня таблица с 90 млн записей работает без проблем. Может индексы нужно подправить?


К дополнении вопроса.

  1. Есть функции в postgres. Не триггеры. Можно их запускать

    select <имя функции>;
    

можно сделать как вы сказали запуск каждый час. Функция может сама оправлять временем. То есть берет время и само создает отрезок (к примеру 1 час) при каждом запуске или в цикле. и по порциям делать commit

3
  • индексы хороши при выборке. но никак не помогают при вставке. выборка данных мс занимает
    – des1roer
    16 июн 2015 в 6:55
  • а вставку через функцию пробовали?
    – Saidolim
    16 июн 2015 в 7:19
  • нет не пробовал
    – des1roer
    16 июн 2015 в 8:05

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.