2

Есть OLTP БД на Postgres (реплика) на одной машине, на другой ClickHouse, который будет использоваться как некая совокупность "вьюх" на основе таблиц из Postgres. По сути это закономерный следующий вопрос после моей предыдущей темы ( ETL из Postgres в ClickHouse быстро ) , где мне подсказали, как правильно подключиться к Postgres из ClickHouse, скорость и простота реализации меня очень порадовала (я остановился на варианте движка базы данных PostgreSQL, не MaterializedPostgreSQL).

Следующая задача, которая передо мной стоит, это как ежедневно результаты этих запросов обновлять. В Postgres это делалось так, если по-крестьянки:

  1. Писался запрос
  2. Оборачивался в Create Materialized View
  3. Обновление по Refresh Materialized View

В ClickHouse же материализованные представления работают несколько иначе, тригярятся по insert в исходную таблицу (в моих исходных таблицах не только insert бывают, но и изменения данных и удаления строк), слова Refresh не нашел. Подскажите, пожалуйста, какие best practices есть для того, чтобы взять запрос из Postgres и "материлиазовать" его в ClickHouse (неважно, что это будет, таблица, представление, еще что-то)?

Самое очевидное для меня, это я один раз в день делаю Drop моей материализованной вариации запроса или TRUNCATE в ClickHouse и сразу создаю заново таблицу или наполняю после TRUNCATE заново. Но выглядит как-то как-будто некрасиво и вижу две сложности тут:

  1. Как быть с тем, что если после условного DROP'а, произойдет ошибка и я и таблицу удалил и новую не создал? (в случае в Refresh Materialized View в Postgres я бы в случае ошибки просто получил данные в таблице до ошибки)
  2. Мой запрос регулярно допиливается, кол-во столбцов может как добавляться так и уменьшаться. Как-то неудобно постоянно делать Create Table с указанием столбцов и их типов. (Опять же в Postgres я бы просто делал Create Materialized View и он бы из результата запроса сам понял какие столбцы и какие типы ему нужны)

1 ответ 1

0

Спустя почти полтора месяца пришел к такому решению:

  1. подключаюсь к PG из CH с помощью ENGINE = PostgreSQL
  2. использую DBT для написания запросов. DBT, в свою очередь, берет на себя все DDL командны, тем самым закрывая пункт 2 моего вопроса, и частично пункт 1 ввиду отсутствия/ограниченного присутствия транзакций.
  3. команду на обновление моделей dbt можно повесить на github actions, airflow, prefect, etc.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.