1

Есть таблица:

create table log
(
  id    serial       not null
    constraint user_pkey
    primary key,
  date       timestamp with time zone default now() not null
    constraint log_pkey
    primary key,
  user_id    integer
    constraint log_user_id_fkey
    references "user"
    on delete set null,
  ...
);

create index log_date
  on log (date DESC);

При выборке только из неё:

SELECT * FROM "log"
WHERE date > '1.1.2018'
ORDER BY date DESC;

сортировка идёт по индексу.

 Index Scan using log_date on log  (cost=0.29..2330.05 rows=35689 width=341) (actual time=0.024..16.422 rows=35782 loops=1)
   Index Cond: (date > '2018-01-01 00:00:00+03'::timestamp with time zone)
 Planning time: 0.589 ms
 Execution time: 18.088 ms

А вот при слиянии:

SELECT * FROM "log"
JOIN "user" ON user.id = log.user_id
WHERE date > '1.1.2018'
ORDER BY log.date DESC;

сортировка идёт уже без индекса.

 Sort  (cost=3805.74..3894.96 rows=35689 width=509) (actual time=22.159..24.455 rows=13064 loops=1)
   Sort Key: log.date DESC
   Sort Method: quicksort  Memory: 9573kB
   ->  Merge Join  (cost=0.43..1107.08 rows=35689 width=509) (actual time=0.012..9.642 rows=13064 loops=1)
         Merge Cond: (u.id = log.user_id)
         ->  Index Scan using user_pkey on "user" u  (cost=0.14..5.35 rows=59 width=168) (actual time=0.002..0.029 rows=61 loops=1)
         ->  Index Scan using log_user_id on log  (cost=0.29..2451.96 rows=35689 width=341) (actual time=0.006..6.190 rows=13065 loops=1)
               Filter: (date > '2018-01-01 00:00:00+03'::timestamp with time zone)
 Planning time: 0.564 ms
 Execution time: 25.899 ms

Это нормальное поведение? Как можно уговорить планировщик сортировать по индексу?

Ни в документации, ни в гугле не нашёл информации.
Postgresql 9.6.

UPD. Как отметил mike в комментарии, левой слияние решает проблему.

 Sort  (cost=4816.65..4902.76 rows=34443 width=523) (actual time=48.332..55.717 rows=35000 loops=1)
   Sort Key: log.date DESC
   Sort Method: quicksort  Memory: 21961kB
   ->  Hash Left Join  (cost=3.33..2221.04 rows=34443 width=523) (actual time=0.063..19.772 rows=35000 loops=1)
         Hash Cond: (log.user_id = "user".id)
         ->  Seq Scan on log  (cost=0.00..1957.54 rows=34443 width=347) (actual time=0.008..9.118 rows=35000 loops=1)
               Filter: (date > '2018-01-01 00:00:00+03'::timestamp with time zone)
         ->  Hash  (cost=2.59..2.59 rows=59 width=168) (actual time=0.030..0.030 rows=61 loops=1)
               Buckets: 1024  Batches: 1  Memory Usage: 21kB
               ->  Seq Scan on "user"  (cost=0.00..2.59 rows=59 width=168) (actual time=0.004..0.013 rows=61 loops=1)
 Planning time: 0.967 ms
 Execution time: 62.681 ms

В данном конкретном запрос оптимизатор оказался прав, но на боевом запросе это помогло кардинально. А помогло утверждение mike, что в одном запросе используется один индекс на таблицу.

2
  • 2
    По плану видно, что оптимизатор посчитал более выгодным идти на таблице log по индексу log_user_id. Два индекса по одной таблице в одном запросе не могут быть использованы, поэтому для сортировки индекса уже не нашлось. А прав в данном случае оптимизатор или нет, сложно сказать. попробуйте сделать left join, есть некоторая вероятность, что оптимизатор откажется от merge
    – Mike
    Commented 28 сент. 2018 в 20:24
  • @Mike, спасибо, помогло. А где можно найти информацию про один индекс на запрос на таблицу? И что в таком случае делать с вопросом? Или напишите ответ, я закрою вопрос в штатном режиме.
    – jonsbox
    Commented 29 сент. 2018 в 9:19

1 ответ 1

1

Из плана выполнения с join видно, что в первом случае, когда таблица одна, оптимизатор применяет единственно верную в этом случае стратегию - взять записи по дате, используя соответствующий индекс. Так как этот индекс используется, то заодно оптимизатор решает выполнить по нему и сортировку, так как он изначально будет получать записи уже в нужном порядке.

Во втором случае оптимизатор решает применить операцию merge-join. При таком виде слияния таблиц postgresql идет параллельно по "отсортированным" в одном порядке записям и сопоставляет их друг с другом. При этом он сходу берет записи в нужном порядке идя по индексу по полю user_id. Так как одновременно использовать два индекса по одной таблице нереально, то оптимизатор решает пересортировать на завершающем этапе выборку в требуемом порядке, т.е. по дате.

Применение операции left join, вместо обычного join может подсказать оптимизатору, что в одной из таблиц данных может и не быть и записи из "левой" таблицы при этом все равно нужны. В таком случае операция merge-join считается невыгодной стратегией и оптимизатор все таки взять записи по дате из лога и для каждой из них в отдельности поискать соответствие в таблице user. Так как опять используется индекс по дате, то его же можно применить вместо сортировке.

Как видно по обновленному вопросу, не смотря на то, что в случае обычного join требуется итоговая сортировка выборки, сама операция merge-join экономит столько времени, что с лихвой окупает это сортировку и запрос выполняется 25ms вместо 62ms, которые нужны для множественного поиска одних и тех же записей в случае использования left. Так что можно заключить, что оптимизатор в данном случае полностью оправдывает свое название и действительно выбирает более оптимальный путь решения задачи. По этому при оптимизации запросов никогда не стоит полагаться на шаблоны вроде "сортировка это всегда плохо" и не стоит избегать ее любыми средствами. Стоит попробовать несколько вариантов и выбрать наилучший по итоговому времени выполнения.

P.S. В ответ на комментарий "А где можно найти информацию про один индекс на запрос на таблицу".

С этим сложнее, в некоторой документации по некоторым СУБД об этом наверняка вскользь упоминается. Есть ли подобное на postgresql не знаю. Но все СУБД действуют по схожим принципам.

В данном случае я предпочитаю представлять, что бы я делал на месте СУБД, если бы мне надо было выполнить эту работу в ручную. Представим, что у нас есть два словаря (индекса), в одном слова расположены по алфавиту (рядом со словами указано как часто они встречаются), в другом они же расположенные по распространенности. И есть еще один словарь, с немного другим набором слов, по алфавиту. Нам требуется найти слова, встречающиеся в обоих словарях и при этом вывести их в порядке распространенности. Мы решаем, что нам удобно читать одновременно два словаря в порядке алфавита, потому что гораздо проще увидев в одном словаре "арбуз", просто перевести взгляд на второй словарь уже открытый на странице "A" и увидеть его там. (это и есть merge-join). Выписать все слова на листочек с количеством встречаемости и после полного сличения словарей отсортировать итоговый набор вручную. Словарь с уже отсортированными по количествам словами нам ни чем помочь не может, потому что нам придется полностью перечитать весь список, что бы найти там арбуз, который может оказаться где нибудь в конце. Таким образом применение второго индекса практически не реально.

Если же мы возьмем изначально тот словарь, где слова по распространенности и решим сличать его со вторым. То мы конечно изначально получим все слова уже в нужном нам порядке, сортировка не потребуется. Но при этом сам поиск усложняется. Берем первое слово из словаря количеств, скажем "поезд". Листаем второй словарь до буквы "П", находим его. Второе слово "молоко", листаем второй словарь на "M" ... Вот такое примерно происходит, в случае когда мы использовали left join (ну немного быстрее, есть оглавление :) ) ...

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.