При перекладывании данных из одной схемы в другую необходимо соблюсти следующее условие:
prompt_input_value_id
Generate a unique sequence number for the combination of each prompt_input_value and collect_project_id
У меня есть следующий запрос, прекрасно работающий и выполняющий задачу в PostgreSQL:
INSERT INTO target.table AS t (
collect_project_id,
prompt_type,
prompt_input_desc,
prompt_input_name,
prompt_input_value,
script_id,
corpuscode)
SELECT s.projectid,
max(s.prompttype),
max(el.inputs->>'name') AS name,
max(el.inputs->>'desc') AS description,
v.value,
max(s.scriptid),
max(s.corpuscode)
FROM source.table AS s
CROSS JOIN LATERAL jsonb_array_elements(s.inputs::jsonb) AS el(inputs)
CROSS JOIN LATERAL jsonb_array_elements(el.inputs->'values') AS v(value)
WHERE
s.prompttype = 'input' AND (s.created > now() - interval '30 minutes' OR s.modified > now() - interval '30 minutes')
GROUP BY s.projectid, v.value
ON CONFLICT
(prompt_input_value, collect_project_id)
DO UPDATE SET
(prompt_input_desc, prompt_input_name, date_updated) =
(EXCLUDED.prompt_input_desc,
EXCLUDED.prompt_input_name,
NOW())
WHERE t.prompt_input_desc != EXCLUDED.prompt_input_desc
OR t.prompt_input_name != EXCLUDED.prompt_input_name;
Мне надо его переделать таким образом, чтобы принимался RedShift. Например, UPSERT (ON CONFLICT) RedShift не принимает.
Следовательно, я хочу разбить базовый запрос на две части - добавление данных и обновление.
Делаю добавление через оператор WITH:
WITH all_values AS (
SELECT s.projectid AS projectid,
max(s.prompttype) AS prompttype,
max(el.inputs->>'name') AS name,
max(el.inputs->>'desc') AS description,
v.value AS value,
max(s.scriptid) AS scriptid,
max(s.corpuscode) AS corpuscode
FROM source.table AS s
CROSS JOIN LATERAL jsonb_array_elements(s.inputs::jsonb) AS el(inputs)
CROSS JOIN LATERAL jsonb_array_elements(el.inputs->'values') AS v(value)
WHERE
s.prompttype = 'input' AND (s.created > now() - interval '30 minutes' OR s.modified > now() - interval '30 minutes')
GROUP BY s.projectid, v.value
), unique_items AS (
SELECT all_values.projectid, all_values.prompttype, all_values.name, all_values.description, all_values.value, all_values.scriptid, all_values.corpuscode
FROM all_values
WHERE all_values.projectid != (SELECT collect_project_id FROM target.table) AND all_values.value != (SELECT prompt_input_value FROM target.table)
)
INSERT INTO target.table (
collect_project_id,
prompt_type,
prompt_input_desc,
prompt_input_name,
prompt_input_value,
script_id,
corpuscode)
SELECT s.projectid,
s.prompttype,
s.name,
s.description,
s.value,
s.scriptid,
s.corpuscode
FROM all_values AS s;
Логика моя здесь такова:
- сначала беру все записи, которые нужно добавить (формирую из них отдельные строки для каждого элемента словаря)
- выделяю только такие строки, для которых с таблицей, куда нужно добавить, не найдена комбинация значений из двух колонок prompt_input_value and collect_project_id
- результат записываю в таргет таблицу.
Но получаю ошибку ERROR: operator does not exist: jsonb <> character varying Подсказка: No operator matches the given name and argument type(s). You might need to add explicit type casts. Позиция: 1006
Можете просветить где ошибся?
Спасибо заранее!
unique_items
. Походу первый CTE возвращает JSONB, тогда как подзапросы возвращают VARCHAR. Приведите явно кого-нибудь к тому же типу. Типа такого:all_values.projectid :: VARCHAR != (SELECT collect_project_id FROM target.table)
.WITH all_values AS (...) SELECT * FROM all_values
. работает? нет - отлаживайте... заработало - присоединяйте второй CTE и SELECT из него - работает? нет - отлаживайте... что, я буду это делать, что ли?