1

При перекладывании данных из одной схемы в другую необходимо соблюсти следующее условие:

prompt_input_value_id
Generate a unique sequence number for the combination of each prompt_input_value and collect_project_id

У меня есть следующий запрос, прекрасно работающий и выполняющий задачу в PostgreSQL:

INSERT INTO target.table AS t (
        collect_project_id,
        prompt_type,
        prompt_input_desc,
        prompt_input_name,
        prompt_input_value,
        script_id,
        corpuscode)
    SELECT s.projectid,
           max(s.prompttype),
           max(el.inputs->>'name') AS name,
           max(el.inputs->>'desc') AS description,
           v.value,
           max(s.scriptid),
           max(s.corpuscode)
    FROM source.table AS s
       CROSS JOIN LATERAL jsonb_array_elements(s.inputs::jsonb) AS el(inputs)
       CROSS JOIN LATERAL jsonb_array_elements(el.inputs->'values') AS v(value)
    WHERE
        s.prompttype = 'input' AND (s.created > now() - interval '30 minutes' OR s.modified > now() - interval '30 minutes')
    GROUP BY s.projectid, v.value
    ON CONFLICT
        (prompt_input_value, collect_project_id)
    DO UPDATE SET
        (prompt_input_desc, prompt_input_name, date_updated) =
        (EXCLUDED.prompt_input_desc,
        EXCLUDED.prompt_input_name,
        NOW())
    WHERE t.prompt_input_desc != EXCLUDED.prompt_input_desc
        OR t.prompt_input_name != EXCLUDED.prompt_input_name;

Мне надо его переделать таким образом, чтобы принимался RedShift. Например, UPSERT (ON CONFLICT) RedShift не принимает.

Следовательно, я хочу разбить базовый запрос на две части - добавление данных и обновление.

Делаю добавление через оператор WITH:

    WITH all_values AS (
    SELECT s.projectid AS projectid,
           max(s.prompttype) AS prompttype,
           max(el.inputs->>'name') AS name,
           max(el.inputs->>'desc') AS description,
           v.value AS value,
           max(s.scriptid) AS scriptid,
           max(s.corpuscode) AS corpuscode
    FROM source.table AS s
       CROSS JOIN LATERAL jsonb_array_elements(s.inputs::jsonb) AS el(inputs)
       CROSS JOIN LATERAL jsonb_array_elements(el.inputs->'values') AS v(value)
    WHERE
        s.prompttype = 'input' AND (s.created > now() - interval '30 minutes' OR s.modified > now() - interval '30 minutes')
    GROUP BY s.projectid, v.value
   ), unique_items AS (
    SELECT all_values.projectid, all_values.prompttype, all_values.name, all_values.description, all_values.value, all_values.scriptid, all_values.corpuscode
    FROM all_values
    WHERE all_values.projectid != (SELECT collect_project_id FROM target.table) AND all_values.value != (SELECT prompt_input_value FROM target.table)
   )
INSERT INTO target.table (
        collect_project_id,
        prompt_type,
        prompt_input_desc,
        prompt_input_name,
        prompt_input_value,
        script_id,
        corpuscode)
        SELECT s.projectid,
               s.prompttype,
               s.name,
               s.description,
               s.value,
               s.scriptid,
               s.corpuscode
        FROM all_values AS s;

Логика моя здесь такова:

  • сначала беру все записи, которые нужно добавить (формирую из них отдельные строки для каждого элемента словаря)
  • выделяю только такие строки, для которых с таблицей, куда нужно добавить, не найдена комбинация значений из двух колонок prompt_input_value and collect_project_id
  • результат записываю в таргет таблицу.

Но получаю ошибку ERROR: operator does not exist: jsonb <> character varying Подсказка: No operator matches the given name and argument type(s). You might need to add explicit type casts. Позиция: 1006

Можете просветить где ошибся?

Спасибо заранее!

9
  • Ну собственно сравнения на неравенство есть только в unique_items. Походу первый CTE возвращает JSONB, тогда как подзапросы возвращают VARCHAR. Приведите явно кого-нибудь к тому же типу. Типа такого: all_values.projectid :: VARCHAR != (SELECT collect_project_id FROM target.table).
    – Akina
    31 авг 2021 в 9:29
  • Сделал как Вы сказали. Но получаю следующую ошибку: [42883] ERROR: operator does not exist: character varying <> bigint Подсказка: No operator matches the given name and argument type(s). You might need to add explicit type casts. Позиция: 923 31 авг 2021 в 9:33
  • Вы проверяйте по шагам. Сперва WITH all_values AS (...) SELECT * FROM all_values. работает? нет - отлаживайте... заработало - присоединяйте второй CTE и SELECT из него - работает? нет - отлаживайте... что, я буду это делать, что ли?
    – Akina
    31 авг 2021 в 9:35
  • Согласен с замечанием. Еще не так сильно разбираюсь в SQL. Сделал первый запрос WITH all_values AS (...) SELECT * FROM all_values - сработало нормально после того, как для одного из сравнений тип привел к :: VARCHAR, а к другому - в :: BIGINT 31 авг 2021 в 9:41
  • Но когда начал проверять другой запрос - два WITH all_values AS (...), unique_items AS (...) SELECT * FROM unique_items, то получил ошибку ERROR: more than one row returned by a subquery used as an expression 31 авг 2021 в 9:42

1 ответ 1

0

После подсказок Akina, итоговый результат запроса такой:

WITH all_values AS (
    SELECT s.projectid AS projectid,
           max(s.prompttype) AS prompttype,
           max(el.inputs->>'name') AS name,
           max(el.inputs->>'desc') AS description,
           v.value AS value,
           max(s.scriptid) AS scriptid,
           max(s.corpuscode) AS corpuscode
    FROM source.target AS s
       CROSS JOIN LATERAL jsonb_array_elements(s.inputs::jsonb) AS el(inputs)
       CROSS JOIN LATERAL jsonb_array_elements(el.inputs->'values') AS v(value)
    WHERE
        s.prompttype = 'input' AND (s.created > now() - interval '30 minutes' OR s.modified > now() - interval '30 minutes')
    GROUP BY s.projectid, v.value
   ), unique_items AS (
    SELECT all_values.projectid, all_values.prompttype, all_values.name, all_values.description, all_values.value, all_values.scriptid, all_values.corpuscode
    FROM all_values
    WHERE all_values.projectid :: BIGINT NOT IN (SELECT collect_project_id FROM target.target WHERE collect_project_id IS NOT NULL)
      AND all_values.value :: VARCHAR NOT IN (SELECT prompt_input_value FROM target.target WHERE prompt_input_value IS NOT NULL)
   )
INSERT INTO target.target (
        collect_project_id,
        prompt_type,
        prompt_input_desc,
        prompt_input_name,
        prompt_input_value,
        script_id,
        corpuscode)
        SELECT s.projectid,
               s.prompttype,
               s.name,
               s.description,
               s.value,
               s.scriptid,
               s.corpuscode
        FROM unique_items AS s;

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.