1

Имеется табличка board с полями: cats (тип integer, массив с цифрами: {1,2,3,4}), status, activation, del и прочие столбцы, которые не участвуют в выборке.

На cats стоит индекс типа GIN. Также есть составной индекс на cats, status, activation, del (нужен ли именно такой индекс?), а также составной индекс на status, activation, del (тоже под вопросом). Время выборки по этим полям варьируется от 0.1 до 0.5 секунд. Данных в табличке на данный момент 150 тысяч. Можно ли как-то ускорить выборку?

Пример sql запроса на выборку:

    select
   count(*) 
from
   board 
where
   cats @ > '{3}'::integer[] 
   AND status = '1' 
   AND activation = '1' 
   AND del = '0';

explain (analyze)

Aggregate  (cost=12075.37..12075.38 rows=1 width=8) (actual time=469.175..469.176 rows=1 loops=1)
  ->  Index Only Scan using board_cats_sad_idx on board  (cost=0.42..11952.44 rows=49175 width=0) (actual time=258.491..423.847 rows=49700 loops=1)
        Index Cond: ((status = 1) AND (activation = 1) AND (del = 0))
        Filter: (cats @> '{3}'::integer[])
        Rows Removed by Filter: 108857
        Heap Fetches: 34645
Planning time: 0.238 ms
Execution time: 469.218 ms

2 ответа 2

2

Реализация MVCC всегда больно сказывается на count. Ведь нельзя просто взять и подсчитать число строк, необходимо проверить каждую подходящую строку и её скрытые версии на видимость в этой конкретной транзакции. Поэтому count большого числа строк лучше не делать вовсе, а завести табличку с предаггрегированными счётчиками и читать оттуда. Обновлять счётчики можно триггерами или планировщиком считать дельту - зависит от требований к актуальности данных.

Отдельно упомяну, что требования актуальности realtime банально бессмысленны. Если у вас сотня строк меняется в секунду, а база считает выборку 0,5с - значит циферка будет приблизительная всегда. Нет, она конечно будет точно показывать число строк которое нашла. Но пользователю-то с этого какой прок, если он увидит циферку спустя ещё какое-то время пока отработает уже само ваше приложение?


Ну а если идти к представленному запросу:

  1. оценка планировщика достаточно точна, что не может не радовать.
  2. используется Index Only Scan, то есть табличка меняется довольно редко. И, следовательно, не будет очень дорого поддерживать таблицу счётчиков триггером.
  3. фильтр по cats отрезает 2/3 всех строк оставшихся после индекса
  4. count отработал достаточно быстро и запрос упирается не в него
  5. используется индекс board_cats_sad_idx. Не могу сказать, который именно это индекс. Судя по Index Only Scan вероятно это btree( cats, status, activation, del) имеющий здесь смысл только из-за Index Only Scan.

Прикладной интерес может быть в пункте 3, для чего необходимо понимать, какие фильтры динамичны и должны быть в индексах, а какие являются статичным дополнением. Дальше варианты строятся на основе этого. Если только cats различаются, то целесообразен частичный

gin(cats) where status = 1 AND activation = 1 AND del = 0

Все 3 условия как-то не выглядят селективными, но если есть что-то селективное, то можно поставить btree_gin расширение и добавить поле в gin индекс

gin(cats, status) where activation = 1 AND del = 0

Если статично у вас условие как раз по cats - то можно его использовать как префикс частичного индекс

btree(status) where cats @ > '{3}'::integer[] AND activation = 1 AND del = 0

И прочие варианты, основанные на вашем знании своей задачи и распределения данных.

4
  • спасибо за ответ. С postgresql знаком не так давно. Почитаю про триггеры и про все остальное.
    – vitagame
    18 июн 2018 в 8:00
  • Может имеются какие-нибудь утилиты для ускорения postgresql? По идее на сервер (digitalocean) можно поставить что угодно.
    – vitagame
    18 июн 2018 в 8:10
  • Взрослые СУБД - это то, чем надо учиться пользоваться хорошо. Или приглашать людей, которым это интересно и уже умеют - DBA это вполне себе отдельная специализация. Потому что СУБД - это не вещь в себе, а большая и весьма сложная система напрямую связанная с вашими данными. 18 июн 2018 в 8:37
  • Лучше учиться, чем кого-то приглашать. Установить PostgreSQL на сервер смог, сконвертировать с mysql и импортировать смог, переписать под PostgreSQL смог (более менее). Буду дальше изучать.
    – vitagame
    18 июн 2018 в 9:15
0

Выложите свой план на https://explain.depesz.com/ и просмотрите там. У вас используется индекс и потом делается count(), а мы все помним, что count - не самая быстрая операция в PostgreSQL, к сожалению.

Можно поэкспериментировать с индексами, но, не уверен, что тут можно реально сделать быстрее, при таком подходе.

1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.