Вопросы с меткой [clickhouse]
ClickHouse - столбцовая СУБД для онлайн обработки аналитических запросов (OLAP)
90
вопросов
0
голосов
0
ответов
8
показов
Преобразование даты и времени clickhouse
есть значение, например 56 секунд в формате int64
хочу преобразовать это в формат 00:00:56
использую предварительно функцию перевода в датувремя toDateTime
и почему то получаю 1970-01-01 06:00:56
6 ...
1
голос
0
ответов
29
показов
Clickhouse kafka engine. Как задать интервал обращения таблицы к Kafka
Мне необходимо настроить таблицу КХ с движком Кафки так, чтобы таблица брала данные из Кафки большими кусками, но не постоянно, а допустим, с интервалом 30 секунд или 1 минуты. Возможно ли так сделать,...
0
голосов
1
ответ
25
показов
Как интеграционно тестировать код, использующий словари ClickHouse?
Есть backend код на .Net Core. Необходимо написать интеграционные тесты.
Но, данный код выполняет запросы к словарю ClickHouse. Словарь создаётся из других словарей, а другие словари тоже создаются из ...
0
голосов
0
ответов
15
показов
Запрос для фиксирования приходов и уходов сотрудников (ClickHouse)
Всем добрый день/вечер!
Я написала запрос, скрипт ниже, не могу никак додуматься, как его допилить. Буду максимально благодарна любой помощи, так как являюсь полным новичком в этом. (Подходящих ...
2
голоса
1
ответ
63
показа
Материализовать в ClickHouse результат запроса из таблиц Postgres с ежедневным обновлением
Есть OLTP БД на Postgres (реплика) на одной машине, на другой ClickHouse, который будет использоваться как некая совокупность "вьюх" на основе таблиц из Postgres. По сути это закономерный ...
0
голосов
1
ответ
66
показов
ETL из Postgres в ClickHouse быстро
Есть OLTP БД на Postgres, необходимо получить результаты запросов из этой БД в ClickHouse. Т.е. создать некое упрощенное подобие DWH, где будут храниться просто "вьюхи" для дальнейшей их ...
0
голосов
0
ответов
63
показа
Как решить ошибку clickhouse Cannot load data for command line suggestions?
Внезапно, в очередной раз запуская clickhouse я наткнулся на ошибку, которая по сути убила мне clickhouse.
Cannot load data for command line suggestions: Code: 107. DB::Exception: Received from ...
-1
голос
2
ответа
69
показов
Почему не выполняется ALTER TABLE UPDATE clickhouse
Пишу api на laravel.
Использую:
clickhouse 23.7.3.
php 8.0
glushkovds/phpclickhouse-laravel
apache2
Столкнулся с проблемой, что данные в таблице не изменяются. Причем, что удивительно, точно такой ...
0
голосов
0
ответов
72
показа
оптимизация sql запроса к БД clickhouse с большим массивом в блоке IN
У меня есть система, работающая с большими объемами данных в clickhouse. При отфильтровывании значений для выборки данных через select я получаю к бэку запрос вида
SELECT
param1,
param2,
.....
-1
голос
1
ответ
78
показов
Java-client для ClickHouse отправляет не все батчи
Так отправляются 1000 объектов батчами по 50:
void executeBatch(final List<V> batch) throws ClickHouseException {
if (!batch.isEmpty()) {
try (ClickHouseClient client = ...
1
голос
0
ответов
71
показ
Clickhouse заходит в кафку по порту отличному от указанного в настройках
В конфиге не указан порт, а только креды на подключение. В таблице clickhous'а указан порт, который нужен для доступа к топику kafka, я там выставил порт 9093.
/etc/clickhouse-server/config.xml
<...
0
голосов
0
ответов
29
показов
Какой тип данных использовать вместо BLOB в ClickHouse?
На данный момент занимаюсь проектированием базы данных на ClickHouse, и столкнулся с тем, что мне необходимо загружать в него множества. Как пример:
{
'text':'hello',
'photo':'asdf'
}
В ...
0
голосов
0
ответов
39
показов
вылезает ошибка 'Unknown function makeDate'
Сам запрос:
select makeDate(23, toMonth(toDate(buy_date, 'dd/MM/yyy')), 1) as month,
avg(check_amount) as avg_check,
quantilesExactExclusive(0.5)(check_amount) as median_check
from ...
1
голос
0
ответов
33
показа
clickhouse нагружает сервер до предела
ClickHouse что-то делает в фоне и это загружает сервер до предела. Так уже второй день.
Я выполнил clickhouse restart , он перезапустился и сразу продолжил эти процессы. как выяснить что это и ...
0
голосов
0
ответов
35
показов
Как сделать связь между clickhouse и apache?
Здравствуйте, уважаемые.
Недавно сел изучать php и clickhouse. Поставил себе Ubuntu, на ней развернул apache 2 и php8.0. И столкнулся с проблемой, что apache 2 не хочет использовать код для clickhouse....
0
голосов
0
ответов
21
показ
Может ли clickhouse-client делать INSERT "транзакционно", или все или ничего (insert из csv файла)
есть файл csv (большой 2000000 строк).
Вызываю clickhouse-client, чтоб он вставил строки из файла в БД.
Если в какой-то строке "неправильный" формат данных, то операция прерывается с ошибкой....
0
голосов
2
ответа
226
показов
clickhouse не создает sessions через dbeaver
Для работы с временными таблицами нужно подключить сессию.
В свойствах драйвера через dbeaver указываю session_id и session_timeout, но
при запросе CREATE TEMPORARY TABLE... все равно получаю
ошибку ...
0
голосов
0
ответов
31
показ
Почему в таблицу записывает дублирующие значения столбца?
Есть такая таблица
CREATE TABLE IF NOT EXISTS storage (
`email` String,
`apps` Nullable(String) DEFAULT NULL,
`app_youtube` Int16 DEFAULT 0,
`app_maps` Int16 DEFAULT 0,
...
0
голосов
0
ответов
126
показов
Обновление данных в столбце ClickHouse
Столкнулся с проблемой обновления данных в CH. Есть задача обновить данные в одном определенном столбце за определенный период. Запрос
f"ALTER TABLE table UPDATE column = arrayJoin({list}) WHERE ...
0
голосов
0
ответов
39
показов
clickhouse. обновить поля
Есть таблица с данными товаров.
Есть поля seller и seller_id.
Некоторые строки записались без seller.
Нужно из существующих данных, по seller_id заполнить недостающие данные в строках существующими.
...
0
голосов
0
ответов
20
показов
Как сгруппировать данные в clickhouse если есть несколько временных меток?
Всем добрый день, уже несколько дней думаю над проблемой. У меня есть таблица, которая заполняется с kafka. Имеет вид:
{
u_id UUID,
event_1 bool|int
event_1_time datetime
event_2 bool|time
...
0
голосов
0
ответов
33
показа
Упростить запрос Clickhouse
есть таблица search
date, user_id ad_id search_text, action
которая хранит в себе действия(action, к примеру 'view' или 'click') юзеров(user_id) к постам(post_id) после поиска по строке search_text в ...
0
голосов
0
ответов
58
показов
Почему ClickHouse на один и тот же запрос выдает разные результаты?
В ClickHouse создал такую таблицу:
CREATE TABLE IF NOT EXISTS my_table (
id UUID DEFAULT generateUUIDv4(),
id_task Int32,
email String,
checked Int32 DEFAULT 0
) ENGINE ...
0
голосов
0
ответов
33
показа
В чём ошибка при создании словаря в ClickHouse?
Мне необходимо создать словарь, который будет запрашивать данные по API. Словарь создаётся, но при его открытии получаю ошибки.
Создаю словарь следующим образом:
CREATE DICTIONARY IF NOT EXISTS dbName....
0
голосов
0
ответов
214
показов
Задача транспонировать таблицу в clickhouse
Проблема в том, что в заголовках даты каждого дня месяца. Отчет мне будут присылать каждый месяц, количество колонок будет меняться, и заголовки тоже. А мне нужно настроить ETL-процесс, универсальный ...
0
голосов
0
ответов
42
показа
Как обратиться к таблице postgresql из clickhouse (драйвер 20.4.4.18)
Всем привет.
Требуется сверить данные таблиц postgresql и clickhouse.
На драйвере clickhouse 22.3.2.1 можно без проблем обратиться к таблице postgresql, например:
SELECT * FROM postgresql('my_pg_host:...
1
голос
0
ответов
27
показов
Как можно реализовать хранилище истории изменения сущностей в системе?
Мне нужно реализовать сервис, суть которого в хранение записей о событиях которые произошли в системе. Используется .NET6.
События читаются из событийной шины Кафки и записываются в колоночную TSDB, ...
1
голос
1
ответ
112
показов
SQL ClicHouse | Разбить месяц на дни
Всем привет!
Имеется таблица
date
cnt
2021-12-20
1
2021-12-21
2
2021-12-22
1
2021-12-23
3
2021-12-24
3
2021-12-25
1
2021-12-26
1
Как мне разбить месяц по 2 дня и получить такую таблицу?
...
0
голосов
2
ответа
109
показов
Подсчёт количества переходов для value SQL clickhouse
У меня есть следующая таблица. Мне нужно посчитать count для переходов one -> two , two -> one. Колонка Value содержит только два возможных значения:
one / two .
БД - clickhouse
time ...
0
голосов
0
ответов
136
показов
Интервал между несколькими датами ClickHouse
Есть таблица в ClickHouse, которая постоянно дополняется, формата:
date_time | shop_id | item_id | status | balance
---------------------------------------------------------------
2022-09-09 ...
-1
голос
1
ответ
65
показов
Выборка в ClickHouse
Я смотрел Базы данных. ClickHouse. Колоночные СУБД.
Там на слайде
( на видео это участки 21:15-28:20 и 25:41-28:20)
разбирается, что попадет в результат запроса
CounterID In ['a', 'h']
Вопрос:
...
-2
голоса
1
ответ
252
показа
Использование ClickHouse, Redis, RabbitMQ [закрыт]
Я новичок в некоторых вопросах. Какие есть примеры использования, указанных в заголовке вопроса технологий (ClickHouse, Redis, RabbitMQ)? Возможно ли их использование при создании сайтов? Приведите ...
1
голос
1
ответ
120
показов
Как сделать аналог groupUniqArray в Vertica?
Есть таблица вида
user_id
event_id
1
1
1
2
2
3
2
4
2
5
Нужно получить на выходе такую
user_id
events
1
[1, 2]
2
[3, 4, 5]
В clickhouse я бы использовал такую конструкцию
select user_id,
...
0
голосов
1
ответ
354
показа
clickhouse как вернуть название месяца текстом
Есть запрос, он возвращает мне месяц как число(1,2,3...) как переписать запрос чтобы месяц возвращался в виде текста (Январь,Февраль,Март...) :
'''
with t1 as(
select count(status) as test1,
...
-2
голоса
1
ответ
635
показов
Что не так в запросе sql?
Написал следующий sql запрос к бд clickhouse, но получаю следующую ошибку:
clickhouse_driver.errors.ServerException: Code: 62.
DB::Exception: Syntax error: failed at position 82 ('f8e26d5aae7e6e40'): ...
0
голосов
0
ответов
152
показа
Clickhouse . Distinct для одного столбца
Я хочу получить уникальные значения из столбца «value» из stage1.table2 и сделать join к на stage0.table1. Но проблема в том, что stage1.table2 содержит неуникальные значения в столбце «value». Как ...
1
голос
0
ответов
43
показа
spark application: как решить проблему записи данных
Всем привет! мне нужно перенести данные с hdfs в clickhouse. При запуске спарковой джобы я получаю ошибку DB::Exception: Too many parts (310). Merges are processing significantly slower than inserts. (...
0
голосов
0
ответов
176
показов
Как ускорить запрос в Clickhouse c массивом
Есть запрос, он выполняется через python
select distinct user_id
from firb
array join properties
where event_date >= toDate('2021-07-01') and
event_date < toDate('2022-01-01') and
...
0
голосов
0
ответов
55
показов
Как отобразить информацию о связях таблиц БД ClickHouse в редакторе Tabix?
Всем привет
Мне нужно увидеть информацию о связях между таблицами(foreign keys,primary keys)
В Postgresql например я мог получить эту информацию через ввод команды \d 'имя таблицы' в командной строке:...
0
голосов
2
ответа
62
показа
Автоматически генерировать поле в select запросе
У меня есть запрос
select B.cohort_month,
S.num_users as total_users,
B.month_number,
B.num_users * 100 / S.num_users as percentage
from (select C.cohort_month,
A....
0
голосов
1
ответ
520
показов
Unknown identifier при использование left join
Возникает ошибка при запросе с Clickhouse
Code: 47, e.displayText() = DB::Exception: Unknown identifier: cohort_month there are columns: user_id, event_date, 'month', date_trunc('month', event_date), ...
0
голосов
1
ответ
120
показов
Вычитание значений, находящихся в одном столбце таблицы КликХауса
Подскажите, пожалуйста, существует ли в КликХаусе функционал для вычитания дат/чисел в одном столбце? То есть, значения вычитаются в построчном порядке.
Например, имея таблицу вида:
| Год |
|------|
|...
0
голосов
1
ответ
92
показа
WITH FILL в ClickHouse
Есть таблица с датами, айдишниками и с количеством выполненных задач конкретного id в конкретную дату. Вот сам запрос:
WITH
toDateTime('2021-01-01 00:00:00') as startSelectedDate,
toDateTime('...
1
голос
1
ответ
1k
показов
ClickHouse не работает DISTINCT ON
Имеется таблица my_table следующего вида:
Column1
Column2
Column3
Column4
a
b
c
d
m
x
c
d
m
x
y
z
Необходимо получить все строки с уникальными значениями из Column2, т.е. должно получиться нечто ...
0
голосов
1
ответ
145
показов
Работа с массивом float в clickhouse
Как в Clickhouse сгенерировать массив значений типа Float32 с заданными началом, концом и шагом, подобно тому, как это делает функция range() для целых чисел?
0
голосов
1
ответ
82
показа
вставка DateTime в БД Clickhouse без изменений
Есть БД Clickhouse.
В БД таблица с полем типа DateTime без указания timezone (пробовал указывать 'UTC' без разницы).
Вставляю данные из Oracle c помощью datax (etl от alibaba ) в clickhouse. В итоге ...
0
голосов
1
ответ
621
показ
Как в rabbitmq накопить определённое кол-во строк и запустить эту пачку в callback?
На данный момент работает так - идёт запрос с множеством данных на сервис А, с него данные посылаются в очередь в rabbitmq, откуда читаются по одному сообщению сервисом В и пишутся в CLickHouse. Нужно ...
0
голосов
1
ответ
498
показов
Clickhouse кумулятивная сумма покупок с интервалом в 6 часов с начала текущего месяца по сейчас
Есть таблица income_generated c полями:
uid - id юзера
event_time - время события, формат ‘YY-MM-DD HH-MM-SS’
value – сумма покупки
Прошу помощи. Нужно вывести кумулятивную сумму покупок с ...
-1
голос
1
ответ
103
показа
Как посчитать уникальные элементы в столбце и передавать их в другие столбы по условию
Знатоки, просьба помочь с решением задачи.
Есть 3 столбца: дата, заказы и статус заказа. Заказы иногда повторяются, для каждого из них есть 5 разных статусов в отдельном столбце. Нужно создать таблицу:...
1
голос
0
ответов
60
показов
Как в ClickHouse при выравнивании показаний датчиков по меткам времени с нужным шагом вместо 0 получить предыдущее реальное показание датчика?
В ClickHouse для хранения показаний датчиков создана таблица indications со следующей структурой:
CREATE TABLE indications (
`unit_id` UInt16 CODEC(DoubleDelta, ZSTD(1)),
`sensor_name` String ...