2

Допустим, есть таблица вида:

ID (ключ),
Timesamp,
Серийный_номер (varchar),
Категория_параметра (varchar),
Значение_параметра (int)

имеется индекс по всему, кроме ID, в том же порядке.

Вариаций "Категория_параметра" - очень конечное количество (допустим, 5 штук). Запросы нужно строить с выборкой значений по серийнику (коих будет массив) в временном интервале, соответственно, для каждого "Категория_параметра".

Записей в таблице оооочень много (несколько десятков миллионов), размер средней выборки может быть небольшой (десяток тысяч), но простейший запрос занимает неприличное время (с десяток минут).

Сам вопрос: чтобы побороть избыточность, что будет эффективнее: 1) объединить ближайшие по времени записи в такие, где все вариации "Категория_параметра" представлены полями, т.е.:

ID,
Timesamp,
Серийный_номер (varchar),
Значение_параметра_1 (int),
Значение_параметра_2 (int),
Значение_параметра_3 (int),
...

2) Или же вовсе поделить на разные таблицы, где каждой таблице будет соответствовать какая-то "категория_параметра":

Таблица Категория_параметра №1
-----------------------------
ID,
Timesamp,
Серийный_номер (varchar),
Значение (int)

Таблица Категория_параметра №2
-----------------------------
ID,
Timesamp,
Серийный_номер (varchar),
Значение (int)

....

ЗЫ Целью будет эффективная "сборка" всех параметров воедино в определенных интервалах с группировкой по серийнику, даже если размер таблицы(таблиц) будет расти и дальше. Проблема именно в огромной таблице, из которой нужно выдернуть не так много значений.

Буду рад любым идеям и доводам! Спасибо!

ЗЫЫ Конечно, избыточность ID и Timestamp'ов борется только в первом случае. Но мне интересно теоретическое сравнение (или опыт), что эффективнее: уменьшить в несколько раз количество записей или делать серию запросов из нескольких таблиц (в которых будет в несколько раз меньше данных).

7
  • Попробуйте просто сделать комбинируемый индекс по Timestamp,Серийный_номер. Если длина данных в Серийный_номер различается слабо, то можно также заменить varchar на char. Не совсем понял, есть ли такой индекс у Вас отдельный индекс по "неселективному" полю Категория_параметра? Если есть, то удалите его.
    – avp
    6 мая 2014 в 21:29
  • эффективнее будет избавиться от varchar'ов в индексах, чем мучиться с партициями или допполями. 10к записей - это не больше мегабайта данных (грубая оценка сверху), дело не в объеме, а в количествах и качествах сравнений. составной индекс для такой таблицы будет сравним с самой таблицей, потому и эффективность его никакая => минуты, десятки минут. 6 мая 2014 в 22:14
  • @avp Комбинируемый индекс - это индекс по нескольким полям? (только такое определение нашел, на SO). Неплохо дало результат на том этапе, где мне было необходимо собрать массив уникальных серийников. В остальном - глухо. VARCHAR на CHAR заменить нет возможности, ибо серийники разной длины и состава. Индекса два: кластерный (по-умолчанию, по ID записи в таблице) и некластерный по всему, кроме ID, т.к. вся эта информация нужна, иначе, исключив неселективные поля из индекса, но оставив их в операторе SELECT , база использует кластерный индекс - бежит подряд по таблице.
    – free_ze
    7 мая 2014 в 9:51
  • 1
    @Free_ze, запрос покАжите? ваши рассуждения не верны. 7 мая 2014 в 11:16
  • 1
    @Free_ze, очевидно, что для эффективности такого запроса нужен отдельный индекс по Timestamp.
    – avp
    8 мая 2014 в 7:58

1 ответ 1

3

Не совсем понятно причем тут избыточность данных...

Речь, если я верно все понял, идет об оптимизации запросов типа:

SELECT         
     [SerialNumber],
     [Timestamp],        
     [Category],        
     [Value]
FROM [Table]
WHERE [Timestamp] BETWEEN @StartDate AND @EndDate
ORDER BY [SerialNumber], [Timestamp] DESC

Ну дык выкиньте EXPLAIN (для MySQL) или SHOWPLAN (для SQL Server) или EXPLAIN PLAN (для Oracle) и изучите узкое место.

Узкое место очевидно или в отработке условия WHERE (борется индексацией Timestamp) или в сортировке (борется индексацией SerialNumber/Timestamp)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.