0

Подскажите, пожалуйста, паттерны по оптимизации инструкции MERGE. Возможно ли это в данном случае? Написал вот такой:

MERGE /*+ PARALLEL(32)*/
 INTO scheme1.target_table tt5
    USING (
SELECT
    -- Выборка по которой обновляем
    tt1.column1,
    tt1.column2,
CASE
        WHEN tt1.column1 = tt4.column1
        AND tt1.column2 = tt4.column2 THEN 0
        ELSE 1
END MARKER -- определяем какой флаг ставить
FROM
    scheme1.table1 tt1
JOIN scheme1.table2 tt2 ON
    tt1.column1 = tt2.column1
JOIN scheme1.table3 tt3 ON
    tt1.column2 = tt3.column2
LEFT JOIN scheme1.SETUP_TABLE tt4 ON -- настроечная таблица
    tt4.column1 IN ('all_value',
    tt2.column1,
    tt2.column3,
    tt2.column4,
    tt2.column5,
    tt2.column6)
    AND tt4.column2 IN ('all_value',
    tt3.column2,
    tt3.column2,
    tt3.column7)
WHERE
    tt3.column2 IN (3, 6)) sq -- подзапрос
    ON (tt5.column1 = sq.column1
AND tt5.column2 = sq.column2)
WHEN MATCHED THEN UPDATE SET
tt5.FLAG = MARKER -- ставим необходмый флаг (1/0)

Суть была такая, при наличии строк в настроечной таблице, находим записи в другой (таргетной) таблице и обновляем флаг на 0 для совпавших записей, и возвращаем флаг на 1 для тех, которые не занесены в настроечную. CASE сделал для того, чтобы за один мердж обновить записи. Так как, невозможно же сделать более одного апдейта в одной конструкции мердж?

на текущий момент работа мерджа такая: 50 000 000 записей = 467 515мс = ~7мин.

14
  • 2
    А зачем MERGE-то? если один-единственный WHEN MATCHED - это же ж чистой воды UPDATE получается...
    – Akina
    20 янв 2020 в 11:39
  • А ещё - непонятно, что в этом супе делает tt6, которая LEFT JOIN (т.е. не влияет на отбор из более левых - а в данном случае, значит, всех,- таблиц, только дубли плодит для некоторых) и больше нигде не используется - а дубли апдейту сиреневы.
    – Akina
    20 янв 2020 в 11:42
  • А ещё - таблица tt4 в источнике данных как-то немножко отсутствует. Зато tt3 как-то забавно связывается.
    – Akina
    20 янв 2020 в 11:54
  • 1
    Вообще любая оптимизация начинается с просмотра плана выполнения. Без него судить о чем либо бесполезно. Хотя конечно IN с кучей колонок (даже если бы таблица использовалась) намекает что все очень грустно. И отдельный вопрос зачем вообще в такой большой таблице изменять какой то флаг. Если значение колонки может быть выведено на основании данных из других таблиц, то это явная избыточность и возможно хранить это поле вообще не нужно
    – Mike
    20 янв 2020 в 12:08
  • 1
    Тогда тем более переписывайте на простой UPDATE.
    – Akina
    21 янв 2020 в 6:28

1 ответ 1

0

Может кому - то и поможет. Если что, поправьте. по пунктам:

  1. Отказались от MERGE так как в данном случае переключать признак достаточно конструкцией UPDATE.
  2. Создали промежуточную буферную таблицу с правилами которые будут накладываться на тот источник в которых надо обновить признак.
  3. Так как уже будем иметь конкретные записи (из буферной таблицы) отказались от CASE. Это позволило не пробегать все 50 млн записей.
  4. Оказалось, что для базы является очень трудозатратным перечисление IN, вот эта часть:

           tt4.column1 IN ('all_value',
           tt2.column1,
           tt2.column3,
           tt2.column4,
           tt2.column5,
           tt2.column6)
    

    Каждое выражение база разбивает как отдельное OR и отдельную выборку для каждого условия, поэтому время значительно увеличивается.

5.Разбили все условия на мелкие выборки с UNION ALL, в буферной таблице добавили несколько новых столбцов для определения других критериев по которым должен обновляться признак, поэтому тут появятся новые колонки.

SELECT t1.* , t4.column1, t4.column2, t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7) 
AND t4.column5 IN ('all_value', t1.column5) 
AND t4.column6 IN ('all_value', t1.column6) 
AND t4.column8 = 'all_value'
UNION --1
SELECT t1.* ,
       t4.column1 ,
       t4.column2 ,
       t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column9 -- критерий выборки , который был в перечислении IN 
UNION --2
SELECT t1.* ,
       t4.column1 ,
       t4.column2 ,
       t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column10 -- критерий выборки , который был в перечислении IN 
UNION --3
SELECT t1.* ,
       t4.column1 ,
       t4.column2 ,
       t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column11 -- критерий выборки , который был в перечислении IN 
UNION --4
SELECT t1.* ,
       t4.column1 ,
       t4.column2 ,
       t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column12 -- критерий выборки , который был в перечислении IN 
UNION --5
SELECT t1.* ,
       t4.column1 ,
       t4.column2 ,
       t4.column3
   FROM t1
   JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column13); -- критерий выборки , который был в перечислении IN

Затем опираясь на эту выборку мы прописали апдейт

UPDATE /*+ PARALLEL(24) */ target_table t1
SET marker = 0
WHERE marker = 1
  AND (t1.column9,
       t1.column6) IN -- связка полей в целевой таблице 
    (SELECT t2.column9,
            t2.column6
     FROM buf_table); -- обновляем по тем записям что совпадают по ключи с буферной

Все это завернули в процедуру, с логированием и разбиением на шаги. В итоге скорость работы до 10 секунд по обновлению и построению буферной таблицы.

Наименования таблиц и столбцов я обезличил, мог где то ошибиться, но я думаю суть оптимизации ясна.

Всем спасибо за комменты.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.