Может кому - то и поможет. Если что, поправьте.
по пунктам:
- Отказались от MERGE так как в данном случае переключать признак достаточно конструкцией UPDATE.
- Создали промежуточную буферную таблицу с правилами которые будут
накладываться на тот источник в которых надо обновить признак.
- Так как уже будем иметь конкретные записи (из буферной таблицы) отказались от CASE. Это позволило не пробегать все 50 млн записей.
Оказалось, что для базы является очень трудозатратным перечисление
IN, вот эта часть:
tt4.column1 IN ('all_value',
tt2.column1,
tt2.column3,
tt2.column4,
tt2.column5,
tt2.column6)
Каждое выражение база разбивает как отдельное OR и отдельную выборку для каждого условия, поэтому время значительно увеличивается.
5.Разбили все условия на мелкие выборки с UNION ALL, в буферной таблице добавили несколько новых столбцов для определения других критериев по которым должен обновляться признак, поэтому тут появятся новые колонки.
SELECT t1.* , t4.column1, t4.column2, t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = 'all_value'
UNION --1
SELECT t1.* ,
t4.column1 ,
t4.column2 ,
t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column9 -- критерий выборки , который был в перечислении IN
UNION --2
SELECT t1.* ,
t4.column1 ,
t4.column2 ,
t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column10 -- критерий выборки , который был в перечислении IN
UNION --3
SELECT t1.* ,
t4.column1 ,
t4.column2 ,
t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column11 -- критерий выборки , который был в перечислении IN
UNION --4
SELECT t1.* ,
t4.column1 ,
t4.column2 ,
t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column12 -- критерий выборки , который был в перечислении IN
UNION --5
SELECT t1.* ,
t4.column1 ,
t4.column2 ,
t4.column3
FROM t1
JOIN t4 ON t4.column4 IN ('all_value', t1.column6, t1.column7)
AND t4.column5 IN ('all_value', t1.column5)
AND t4.column6 IN ('all_value', t1.column6)
AND t4.column8 = t1.column13); -- критерий выборки , который был в перечислении IN
Затем опираясь на эту выборку мы прописали апдейт
UPDATE /*+ PARALLEL(24) */ target_table t1
SET marker = 0
WHERE marker = 1
AND (t1.column9,
t1.column6) IN -- связка полей в целевой таблице
(SELECT t2.column9,
t2.column6
FROM buf_table); -- обновляем по тем записям что совпадают по ключи с буферной
Все это завернули в процедуру, с логированием и разбиением на шаги.
В итоге скорость работы до 10 секунд по обновлению и построению буферной таблицы.
Наименования таблиц и столбцов я обезличил, мог где то ошибиться, но я думаю суть оптимизации ясна.
Всем спасибо за комменты.