Вопросы с меткой [clickhouse]

ClickHouse - столбцовая СУБД для онлайн обработки аналитических запросов (OLAP)

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
8 показов

Преобразование даты и времени clickhouse

есть значение, например 56 секунд в формате int64 хочу преобразовать это в формат 00:00:56 использую предварительно функцию перевода в датувремя toDateTime и почему то получаю 1970-01-01 06:00:56 6 ...
Rusty's user avatar
  • 1
1 голос
0 ответов
29 показов

Clickhouse kafka engine. Как задать интервал обращения таблицы к Kafka

Мне необходимо настроить таблицу КХ с движком Кафки так, чтобы таблица брала данные из Кафки большими кусками, но не постоянно, а допустим, с интервалом 30 секунд или 1 минуты. Возможно ли так сделать,...
Андрей's user avatar
0 голосов
1 ответ
25 показов

Как интеграционно тестировать код, использующий словари ClickHouse?

Есть backend код на .Net Core. Необходимо написать интеграционные тесты. Но, данный код выполняет запросы к словарю ClickHouse. Словарь создаётся из других словарей, а другие словари тоже создаются из ...
Jossnix's user avatar
  • 113
0 голосов
0 ответов
15 показов

Запрос для фиксирования приходов и уходов сотрудников (ClickHouse)

Всем добрый день/вечер! Я написала запрос, скрипт ниже, не могу никак додуматься, как его допилить. Буду максимально благодарна любой помощи, так как являюсь полным новичком в этом. (Подходящих ...
Kroo_'s user avatar
  • 15
2 голоса
1 ответ
63 показа

Материализовать в ClickHouse результат запроса из таблиц Postgres с ежедневным обновлением

Есть OLTP БД на Postgres (реплика) на одной машине, на другой ClickHouse, который будет использоваться как некая совокупность "вьюх" на основе таблиц из Postgres. По сути это закономерный ...
vagiinalover's user avatar
0 голосов
1 ответ
66 показов

ETL из Postgres в ClickHouse быстро

Есть OLTP БД на Postgres, необходимо получить результаты запросов из этой БД в ClickHouse. Т.е. создать некое упрощенное подобие DWH, где будут храниться просто "вьюхи" для дальнейшей их ...
vagiinalover's user avatar
0 голосов
0 ответов
63 показа

Как решить ошибку clickhouse Cannot load data for command line suggestions?

Внезапно, в очередной раз запуская clickhouse я наткнулся на ошибку, которая по сути убила мне clickhouse. Cannot load data for command line suggestions: Code: 107. DB::Exception: Received from ...
FroggerProgger's user avatar
-1 голос
2 ответа
69 показов

Почему не выполняется ALTER TABLE UPDATE clickhouse

Пишу api на laravel. Использую: clickhouse 23.7.3. php 8.0 glushkovds/phpclickhouse-laravel apache2 Столкнулся с проблемой, что данные в таблице не изменяются. Причем, что удивительно, точно такой ...
FroggerProgger's user avatar
0 голосов
0 ответов
72 показа

оптимизация sql запроса к БД clickhouse с большим массивом в блоке IN

У меня есть система, работающая с большими объемами данных в clickhouse. При отфильтровывании значений для выборки данных через select я получаю к бэку запрос вида SELECT param1, param2, .....
Lirmall's user avatar
-1 голос
1 ответ
78 показов

Java-client для ClickHouse отправляет не все батчи

Так отправляются 1000 объектов батчами по 50: void executeBatch(final List<V> batch) throws ClickHouseException { if (!batch.isEmpty()) { try (ClickHouseClient client = ...
Dmitry's user avatar
  • 3
1 голос
0 ответов
71 показ

Clickhouse заходит в кафку по порту отличному от указанного в настройках

В конфиге не указан порт, а только креды на подключение. В таблице clickhous'а указан порт, который нужен для доступа к топику kafka, я там выставил порт 9093. /etc/clickhouse-server/config.xml <...
Marina Vinograd's user avatar
0 голосов
0 ответов
29 показов

Какой тип данных использовать вместо BLOB в ClickHouse?

На данный момент занимаюсь проектированием базы данных на ClickHouse, и столкнулся с тем, что мне необходимо загружать в него множества. Как пример: { 'text':'hello', 'photo':'asdf' } В ...
Gahawitav's user avatar
0 голосов
0 ответов
39 показов

вылезает ошибка 'Unknown function makeDate'

Сам запрос: select makeDate(23, toMonth(toDate(buy_date, 'dd/MM/yyy')), 1) as month, avg(check_amount) as avg_check, quantilesExactExclusive(0.5)(check_amount) as median_check from ...
Andrey B's user avatar
1 голос
0 ответов
33 показа

clickhouse нагружает сервер до предела

ClickHouse что-то делает в фоне и это загружает сервер до предела. Так уже второй день. Я выполнил clickhouse restart , он перезапустился и сразу продолжил эти процессы. как выяснить что это и ...
iKey's user avatar
  • 2,362
0 голосов
0 ответов
35 показов

Как сделать связь между clickhouse и apache?

Здравствуйте, уважаемые. Недавно сел изучать php и clickhouse. Поставил себе Ubuntu, на ней развернул apache 2 и php8.0. И столкнулся с проблемой, что apache 2 не хочет использовать код для clickhouse....
FroggerProgger's user avatar
0 голосов
0 ответов
21 показ

Может ли clickhouse-client делать INSERT "транзакционно", или все или ничего (insert из csv файла)

есть файл csv (большой 2000000 строк). Вызываю clickhouse-client, чтоб он вставил строки из файла в БД. Если в какой-то строке "неправильный" формат данных, то операция прерывается с ошибкой....
Boris's user avatar
  • 1
0 голосов
2 ответа
226 показов

clickhouse не создает sessions через dbeaver

Для работы с временными таблицами нужно подключить сессию. В свойствах драйвера через dbeaver указываю session_id и session_timeout, но при запросе CREATE TEMPORARY TABLE... все равно получаю ошибку ...
user361595's user avatar
0 голосов
0 ответов
31 показ

Почему в таблицу записывает дублирующие значения столбца?

Есть такая таблица CREATE TABLE IF NOT EXISTS storage ( `email` String, `apps` Nullable(String) DEFAULT NULL, `app_youtube` Int16 DEFAULT 0, `app_maps` Int16 DEFAULT 0, ...
iKey's user avatar
  • 2,362
0 голосов
0 ответов
126 показов

Обновление данных в столбце ClickHouse

Столкнулся с проблемой обновления данных в CH. Есть задача обновить данные в одном определенном столбце за определенный период. Запрос f"ALTER TABLE table UPDATE column = arrayJoin({list}) WHERE ...
Виктор Смольский's user avatar
0 голосов
0 ответов
39 показов

clickhouse. обновить поля

Есть таблица с данными товаров. Есть поля seller и seller_id. Некоторые строки записались без seller. Нужно из существующих данных, по seller_id заполнить недостающие данные в строках существующими. ...
andreyru02's user avatar
0 голосов
0 ответов
20 показов

Как сгруппировать данные в clickhouse если есть несколько временных меток?

Всем добрый день, уже несколько дней думаю над проблемой. У меня есть таблица, которая заполняется с kafka. Имеет вид: { u_id UUID, event_1 bool|int event_1_time datetime event_2 bool|time ...
Alex's user avatar
  • 11
0 голосов
0 ответов
33 показа

Упростить запрос Clickhouse

есть таблица search date, user_id ad_id search_text, action которая хранит в себе действия(action, к примеру 'view' или 'click') юзеров(user_id) к постам(post_id) после поиска по строке search_text в ...
Дмитрий Чемпион's user avatar
0 голосов
0 ответов
58 показов

Почему ClickHouse на один и тот же запрос выдает разные результаты?

В ClickHouse создал такую таблицу: CREATE TABLE IF NOT EXISTS my_table ( id UUID DEFAULT generateUUIDv4(), id_task Int32, email String, checked Int32 DEFAULT 0 ) ENGINE ...
iKey's user avatar
  • 2,362
0 голосов
0 ответов
33 показа

В чём ошибка при создании словаря в ClickHouse?

Мне необходимо создать словарь, который будет запрашивать данные по API. Словарь создаётся, но при его открытии получаю ошибки. Создаю словарь следующим образом: CREATE DICTIONARY IF NOT EXISTS dbName....
Jossnix's user avatar
  • 113
0 голосов
0 ответов
214 показов

Задача транспонировать таблицу в clickhouse

Проблема в том, что в заголовках даты каждого дня месяца. Отчет мне будут присылать каждый месяц, количество колонок будет меняться, и заголовки тоже. А мне нужно настроить ETL-процесс, универсальный ...
Elena's user avatar
  • 21
0 голосов
0 ответов
42 показа

Как обратиться к таблице postgresql из clickhouse (драйвер 20.4.4.18)

Всем привет. Требуется сверить данные таблиц postgresql и clickhouse. На драйвере clickhouse 22.3.2.1 можно без проблем обратиться к таблице postgresql, например: SELECT * FROM postgresql('my_pg_host:...
Kotcher's user avatar
1 голос
0 ответов
27 показов

Как можно реализовать хранилище истории изменения сущностей в системе?

Мне нужно реализовать сервис, суть которого в хранение записей о событиях которые произошли в системе. Используется .NET6. События читаются из событийной шины Кафки и записываются в колоночную TSDB, ...
Andrey Nesterov's user avatar
1 голос
1 ответ
112 показов

SQL ClicHouse | Разбить месяц на дни

Всем привет! Имеется таблица date cnt 2021-12-20 1 2021-12-21 2 2021-12-22 1 2021-12-23 3 2021-12-24 3 2021-12-25 1 2021-12-26 1 Как мне разбить месяц по 2 дня и получить такую таблицу? ...
Puding's user avatar
  • 11
0 голосов
2 ответа
109 показов

Подсчёт количества переходов для value SQL clickhouse

У меня есть следующая таблица. Мне нужно посчитать count для переходов one -> two , two -> one. Колонка Value содержит только два возможных значения: one / two . БД - clickhouse time ...
ditrauth's user avatar
0 голосов
0 ответов
136 показов

Интервал между несколькими датами ClickHouse

Есть таблица в ClickHouse, которая постоянно дополняется, формата: date_time | shop_id | item_id | status | balance --------------------------------------------------------------- 2022-09-09 ...
Kirill_K's user avatar
-1 голос
1 ответ
65 показов

Выборка в ClickHouse

Я смотрел Базы данных. ClickHouse. Колоночные СУБД. Там на слайде ( на видео это участки 21:15-28:20 и 25:41-28:20) разбирается, что попадет в результат запроса CounterID In ['a', 'h'] Вопрос: ...
wfamilyweb's user avatar
-2 голоса
1 ответ
252 показа

Использование ClickHouse, Redis, RabbitMQ [закрыт]

Я новичок в некоторых вопросах. Какие есть примеры использования, указанных в заголовке вопроса технологий (ClickHouse, Redis, RabbitMQ)? Возможно ли их использование при создании сайтов? Приведите ...
wfamilyweb's user avatar
1 голос
1 ответ
120 показов

Как сделать аналог groupUniqArray в Vertica?

Есть таблица вида user_id event_id 1 1 1 2 2 3 2 4 2 5 Нужно получить на выходе такую user_id events 1 [1, 2] 2 [3, 4, 5] В clickhouse я бы использовал такую конструкцию select user_id, ...
Ayo's user avatar
  • 49
0 голосов
1 ответ
354 показа

clickhouse как вернуть название месяца текстом

Есть запрос, он возвращает мне месяц как число(1,2,3...) как переписать запрос чтобы месяц возвращался в виде текста (Январь,Февраль,Март...) : ''' with t1 as( select count(status) as test1, ...
Nami-san's user avatar
-2 голоса
1 ответ
635 показов

Что не так в запросе sql?

Написал следующий sql запрос к бд clickhouse, но получаю следующую ошибку: clickhouse_driver.errors.ServerException: Code: 62. DB::Exception: Syntax error: failed at position 82 ('f8e26d5aae7e6e40'): ...
Данила Соловьев's user avatar
0 голосов
0 ответов
152 показа

Clickhouse . Distinct для одного столбца

Я хочу получить уникальные значения из столбца «value» из stage1.table2 и сделать join к на stage0.table1. Но проблема в том, что stage1.table2 содержит неуникальные значения в столбце «value». Как ...
ditrauth's user avatar
1 голос
0 ответов
43 показа

spark application: как решить проблему записи данных

Всем привет! мне нужно перенести данные с hdfs в clickhouse. При запуске спарковой джобы я получаю ошибку DB::Exception: Too many parts (310). Merges are processing significantly slower than inserts. (...
Archi's user avatar
  • 53
0 голосов
0 ответов
176 показов

Как ускорить запрос в Clickhouse c массивом

Есть запрос, он выполняется через python select distinct user_id from firb array join properties where event_date >= toDate('2021-07-01') and event_date < toDate('2022-01-01') and ...
Сергей74rus's user avatar
0 голосов
0 ответов
55 показов

Как отобразить информацию о связях таблиц БД ClickHouse в редакторе Tabix?

Всем привет Мне нужно увидеть информацию о связях между таблицами(foreign keys,primary keys) В Postgresql например я мог получить эту информацию через ввод команды \d 'имя таблицы' в командной строке:...
VladislavSoren's user avatar
0 голосов
2 ответа
62 показа

Автоматически генерировать поле в select запросе

У меня есть запрос select B.cohort_month, S.num_users as total_users, B.month_number, B.num_users * 100 / S.num_users as percentage from (select C.cohort_month, A....
Сергей74rus's user avatar
0 голосов
1 ответ
520 показов

Unknown identifier при использование left join

Возникает ошибка при запросе с Clickhouse Code: 47, e.displayText() = DB::Exception: Unknown identifier: cohort_month there are columns: user_id, event_date, 'month', date_trunc('month', event_date), ...
Сергей74rus's user avatar
0 голосов
1 ответ
120 показов

Вычитание значений, находящихся в одном столбце таблицы КликХауса

Подскажите, пожалуйста, существует ли в КликХаусе функционал для вычитания дат/чисел в одном столбце? То есть, значения вычитаются в построчном порядке. Например, имея таблицу вида: | Год | |------| |...
Drewleks's user avatar
  • 162
0 голосов
1 ответ
92 показа

WITH FILL в ClickHouse

Есть таблица с датами, айдишниками и с количеством выполненных задач конкретного id в конкретную дату. Вот сам запрос: WITH toDateTime('2021-01-01 00:00:00') as startSelectedDate, toDateTime('...
FWO's user avatar
  • 75
1 голос
1 ответ
1k показов

ClickHouse не работает DISTINCT ON

Имеется таблица my_table следующего вида: Column1 Column2 Column3 Column4 a b c d m x c d m x y z Необходимо получить все строки с уникальными значениями из Column2, т.е. должно получиться нечто ...
Jossnix's user avatar
  • 113
0 голосов
1 ответ
145 показов

Работа с массивом float в clickhouse

Как в Clickhouse сгенерировать массив значений типа Float32 с заданными началом, концом и шагом, подобно тому, как это делает функция range() для целых чисел?
dmitry931's user avatar
0 голосов
1 ответ
82 показа

вставка DateTime в БД Clickhouse без изменений

Есть БД Clickhouse. В БД таблица с полем типа DateTime без указания timezone (пробовал указывать 'UTC' без разницы). Вставляю данные из Oracle c помощью datax (etl от alibaba ) в clickhouse. В итоге ...
igaraev's user avatar
  • 471
0 голосов
1 ответ
621 показ

Как в rabbitmq накопить определённое кол-во строк и запустить эту пачку в callback?

На данный момент работает так - идёт запрос с множеством данных на сервис А, с него данные посылаются в очередь в rabbitmq, откуда читаются по одному сообщению сервисом В и пишутся в CLickHouse. Нужно ...
Alexey_Danilov's user avatar
0 голосов
1 ответ
498 показов

Clickhouse кумулятивная сумма покупок с интервалом в 6 часов с начала текущего месяца по сейчас

Есть таблица income_generated c полями: uid - id юзера event_time - время события, формат ‘YY-MM-DD HH-MM-SS’ value – сумма покупки Прошу помощи. Нужно вывести кумулятивную сумму покупок с ...
Sonyasfame's user avatar
-1 голос
1 ответ
103 показа

Как посчитать уникальные элементы в столбце и передавать их в другие столбы по условию

Знатоки, просьба помочь с решением задачи. Есть 3 столбца: дата, заказы и статус заказа. Заказы иногда повторяются, для каждого из них есть 5 разных статусов в отдельном столбце. Нужно создать таблицу:...
Иван Иванов's user avatar
1 голос
0 ответов
60 показов

Как в ClickHouse при выравнивании показаний датчиков по меткам времени с нужным шагом вместо 0 получить предыдущее реальное показание датчика?

В ClickHouse для хранения показаний датчиков создана таблица indications со следующей структурой: CREATE TABLE indications ( `unit_id` UInt16 CODEC(DoubleDelta, ZSTD(1)), `sensor_name` String ...
Тимур73's user avatar