Вопросы с меткой [kafka]
Руководство по использованию метки kafka отсутствует.
46
вопросов
0
голосов
0
ответов
6
показов
Почему kafka через docker пытается применить bootstrap.servers = localhost:9092, но потом соединяется с моими настройками?
Коллеги, почему выполняется неудачная попытка использовать настройку bootstrap.servers = localhost:9092, а потом все запускается корректно с настройкой bootstrap.servers = kafka:9092? Привожу часть ...
0
голосов
1
ответ
17
показов
Распределение сообщений в патрициях кафки
Начинаю использовать Кафку в проекте и не могу разобраться в нескольких вопросах. Каждый топик в Кафке разбит на партиции и продюсеры при записи событий с key=null в топик в классическом исполнении ...
1
голос
0
ответов
32
показа
Сериализация даты как timestamp при записи в кафку
У меня есть json, и в нем есть поле с датой
startDt=2023-01-17T08:59:42.522476Z[UTC], когда я кладу json в кафку, то данное поле принимает там значение 1673945982.817186000, нужно чтобы было как в ...
0
голосов
0
ответов
23
показа
Django-Kafka, API (серви по поиску) выдерживать миллион запросов [закрыт]
Можете объяснить как проходит интеграция django и kafka, есть апи и он выдерживать много запросов и отвечать быстро, нужно ли api сделать на кафке или как?
пожалуйтса проясните)
1
голос
0
ответов
18
показов
Как можно реализовать хранилище истории изменения сущностей в системе?
Мне нужно реализовать сервис, суть которого в хранение записей о событиях которые произошли в системе. Используется .NET6.
События читаются из событийной шины Кафки и записываются в колоночную TSDB, ...
0
голосов
0
ответов
41
показ
Размер сообщения в apache kafka
Какой приемлемый объём сообщений для кафки? 1,2,5,10,20 МБ? Это ок? Поток сообщений в пике 150 rps. Можно по партициям разнести
0
голосов
0
ответов
47
показов
Не знаю куда вводить docker compose up
Хотел поближе познакомиться с kafka, нашел интересную статью на harb (https://habr.com/ru/company/otus/blog/663264/). Но застрял на 6 пункте данной статьи:
"Далее, находясь в папке с docker-...
0
голосов
0
ответов
43
показа
Отправка сообщений из базы данных в Kafka c обязательной сохранностью очерёдности
Мне нужно отправить данные из базы данных в Кафку. Обязательным условием является сохранность очерёдности сообщений как они расположены в базе данных. После того как сообщения отправлены, я должен ...
0
голосов
0
ответов
26
показов
Можно ли использовать Confluent Schema Registry бесплатно?
Недавно начали использовать Confluent Kafka + KSQL + Confluent Schema Registry + Confluent Avro Converter.
В итоге, возник вопрос можно ли использовать SR и Confluent Avro в рамках компании бесплатно ...
0
голосов
0
ответов
42
показа
Java не читается сообщение из топика Kafka
Здравствуйте я только начал изучение Kafka, возникла проблема при реализации тестового примера, записывать сообщение в топик получается, а вот прочитать нет, строка вывода сообщения выглядит следующим ...
0
голосов
0
ответов
61
показ
Зачем нужна кафка в данном примере?
Вот пример использования кафки для создания социальной сети ( где можно лайкать, постить, комментировать ).
Но до меня никак не доходит, какой смысл отправлять информацию в кафку? Все равно ее надо ...
0
голосов
1
ответ
93
показа
Apache kafka - все сообщения producer уходят в один партишен
У меня есть топик first_topic с 3 partitions.
Вот мой код, я отправляю 55 раз сообщение косьюмеру ( который у меня открыт в cmd ), код ниже прописывает в консоли partition, куда было отправлено ...
0
голосов
0
ответов
16
показов
Kafka idempotence работает только с kafka streams api?
Такой вопрос возник исходя из некоторых лекций на ютубе и статьи. То есть я правильно понимаю: если я не буду использовать kafka streams api , а просто в спринг буте настрою подключение для кафка ...
0
голосов
0
ответов
14
показов
Как добавить kafka cleanup.policy в application yaml?
Всем привет! Возможно ли задать cleanup.policy и log.cleaner.max.compaction.lag.ms в application.yaml?
Если "да" то как?
Сейчас задаю эти параметры через @Bean NewTopic.
0
голосов
0
ответов
16
показов
Spring consumer config
Подскажите, пожалуйста, какие параметры в ConsumerConfig нужно выставить, если в сервисе, где обработка одного Кафка-сообщения идёт около 10 минут, при попытке взять следующее сообщение берётся третье/...
0
голосов
0
ответов
8
показов
Как найти доступные для всех брокеры Kafka?
Попробовал все варианты отправить\получить сообщения или объекты с помощью кафка и хотелось бы попробовать создать интеграцию с каким-н общедоступным сервисом кафка ( по аналогии с открытыми API ...
0
голосов
0
ответов
40
показов
Kafka Transaction with IBM MQ transaction
Всем привет. Кейс следующий :
1 Открыть транзакцию Kafka
2 Открыть транзакцию MQ
3 отправить сообщение в топик кафка
4 отправить сообщениу в MQ
5 отправить сообщение в другой топик кафка
6 закрыть ...
0
голосов
0
ответов
44
показа
Как формировать названия для топиков Kafka?
Существует ли выработанные практики/стандарты для именования топиков в Kafka?
Есть ли "правила хорошего тона" для этого?
В документации и имеющихся книжках не смог найти этой информации.
...
-1
голос
1
ответ
391
показ
Чтение кафка-топика двумя репликами
Какие настройки нужно применить для Consumer-а в java приложении, когда два экземпляра приложения (то есть два листенера) читают одновременно один топик с одной партицией?
Необходимо задать, чтобы ...
0
голосов
0
ответов
77
показов
PHP RdKafka - установить количество партиций
Всем привет, изучаю сейчас php-клиент rdkafka.
Обратил внимание, что если при отправке сообщений в партиции передаю константу RD_KAFKA_PARTITION_UA, то процесс отрабатывает нормально, и сообщение ...
-1
голос
1
ответ
57
показов
Kafka, в чем преимущество использования? [закрыт]
Пытаясь выбрать событийную интеграционную шину часто встречаю упоминание kafka. Поскольку интеграций у меня планируется не так много, самих потоков много, а вот сценариев интеграции два-три, то ...
0
голосов
0
ответов
131
показ
не подключиться к apache kafka после добавления еще одного брокера
Запускаю брокеры кафка в docker .
Через docker-compose создаю контейнеры с кафкой зукипером и другими сервисами взаимодействующими с кафкой.
Каждый брокер кафка и зукипер в отдельном контейнере.
Web ...
1
голос
1
ответ
499
показов
Добавить header в сообщение kafka producer на python
Имеется kafka producer написанный на python и работающий по принципу прокси. То есть на продюсер приходит сообщение извне, обрабатывается и перенаправляется в кафку. Но столкнулся с ошибкой: in send ...
0
голосов
1
ответ
33
показа
JDBC Connector Confluent Kafka
Можно ли в конфигурации JDBC sink Connector Kafka каким-нибудь образом вызвать процедуру?
Ознакомился с https://docs.confluent.io/kafka-connect-jdbc/current/sink-connector/sink_config_options.html
Там ...
0
голосов
0
ответов
30
показов
Kafka wait commit before rebalance
У меня есть топик с 2 партициями из которого читает 1 консюмер в бесконечном цикле.
Допустим, консюмер считал сообщение из 2 партиции и в этот момент подключается второй консюмер из этой же группы, из-...
0
голосов
0
ответов
146
показов
Добавление ключа сообщения kafka к существующим консьюмерам
На текущий момент имеется реализация отправки сообщений в kafka без указания ключа (key) сообщения. Уже есть реализованные листенеры у потребителей. Сейчас занимаюсь рефакторингом.
И возник вопрос ...
0
голосов
0
ответов
173
показа
Ошибка получения готового DTO через Kafka в Spring boot
Всем привет, столкнулся с такой проблемой: Есть 2 спринг бут приложения. Я пытаюсь передавать готовые DTO из 1 приложения в другое через кафку, но постоянно сталкиваюсь с проблемой: передаю вроде бы ...
0
голосов
0
ответов
868
показов
Kafka: как увидеть список топиков?
я оказался в странной ситуации.
Есть Kafka-сервер разработчиков, назовём его m1.dev.mysite.ru
Располагается он внутри локалки, и я его прекрасно пингую.
Далее я читаю "квикстарт", ...
0
голосов
0
ответов
46
показов
Динамическая настройка консюмеров в spring cloud stream kafka на рантайме
В spring cloud stream версии 3 ввели функциональный подход к написанию продюсеров и консюмеров, т.е. достаточно написать:
@Bean
public Consumer<String> myConsumer() {
return System.out::...
0
голосов
2
ответа
259
показов
Не могу подключиться к kafka из docker контейнера
Запускаю сервисы, а также kafka и zookeeper в контейнерах докер.
Запускаю сервис akhq , который являются как бы панелью для просмотра топиков и сообщений кафка.
В сервисе akhq отображаются созданные ...
0
голосов
2
ответа
176
показов
Как подключиться spring микросервису из docker контейнера к kafka в контейнере?
Создаю контейнеры через docker-compose up
version: '3'
services:
zookeeper:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: ...
-1
голос
1
ответ
126
показов
кафка консумер перечитывает сообщения, по которым уже закоммичен offset
Недавно работаю с кафкой.
Запускаю консумера. прочитаны все сообщения в топике к которому он подключается . Т.е. offset равен количеству сообщений.
Консумер в консоль пишет что нет сообщений для ...
0
голосов
0
ответов
371
показ
Kafka consumer не читает сообщения из очереди
Есть 2 сервиса с чтением из очереди по одному топику, конфигурации одинаковые кроме groupId, 1 partition, в логах вижу одинаковую конфигурацию consumer и успешное подключение.
Один сервис читает ...
0
голосов
1
ответ
89
показов
Как деплоить кафку на миникуб?
Проблема у меня довольно странная, я заливаю работающий image из докера если быть точнее wurstmeister/kafka , на докере контейнер создается, все работает, связывается с зукипером нормально и все такое....
0
голосов
0
ответов
80
показов
Выбор MQ очереди
Необходимо выбрать MQ очередь или что-то, что можно использовать таким образом, в рамках следующих условий.
Продюсеров и потребителей может быть десятки тысяч, при этом каждый из них свободно ...
1
голос
1
ответ
245
показов
Spring Kafka - Задержка времени у @KafkaListener при использовании seekToTimestamp у AbstractConsumerSeekAware
Пытаюсь реализовать Rest API с использованием Kafka. POST запрос обрабатывается быстро очень быстро и никаких нареканий к нему нет. GET запрос отрабатывает не совсем корректно и с заметной задержкой ...
0
голосов
0
ответов
65
показов
Как сделать docker image с двумя контейнерами?
Я совсем новичек в докере и мне дали задание залить свое приложение в докер, но вот беда , мое приложение использует кафку и задача такова, что мне нужно помимо jar файла залить еще и кафку в докер, ...
0
голосов
1
ответ
2k
показов
Запустить kafka в docker, и получить к ней доступ из внешнего сервиса
Только начал изучать докер. Идея следующая: Есть 2 spring boot сервиса, между которыми общение осуществляется через кафку. Хочу попробовать перенести все это в докер. Для начала решил перенести в ...
0
голосов
1
ответ
228
показов
как указывать в Кафка какому микросервису адресовано сообщение?
я новичок в Кафка. Теории изучил много, но на практике уже не понимаю как лучше с кафкой работать.
как указывать в Кафка какому микросервису адресовано сообщение, если все микросервисы читают из общей ...
0
голосов
0
ответов
44
показа
Кафка и реляционная база?
Пытаюсь спроектировать информационную систему с применением Кафки. Возникает вопрос, нужно ли использовать реляционную базу для хранения статических данных - таких как информация о пользователях и ...
0
голосов
1
ответ
192
показа
Почему при отправке сообщений в Кафке, если не правильно написан топик которого не существует то сообщения все равно уходят и нет ошибки? [закрыт]
Почему при отправке сообщений в Кафке, если не правильно написан топик которого не существует то сообщения все равно уходят и нет ошибки?
0
голосов
1
ответ
311
показов
Kafka error: Erroneous state
Задача состоит в том, чтобы подписаться на топик в кафке и считать данные со смещением по указанной дате.
При попытке вызвать метод Seek() получаю ошибку:
Confluent.Kafka.KafkaException: Local: ...
1
голос
3
ответа
951
показ
Где хранится offset прочитанных сообщений Кафка?
Например, есть 4 консьюмера(потребителя), которые читаю данные из топика.
Как Кафка обеспечивает то, что ранее прочитанные сообщения из топика не будут повторно прочитаны другими потребителями или тем ...
1
голос
1
ответ
717
показов
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
2
голоса
2
ответа
836
показов
Подключение go к apache kafka
В целях отладки развернул локально apache kafka с использованием этого прокта. Модифицировал кофигурационный файл следующим образом:
version: '2'
services:
zookeeper:
image: wurstmeister/...
0
голосов
1
ответ
77
показов
ClickHouse 20.4.2.9 HeartbeatRequest failed: Broker: Unknown member: actions Permanent
Clickhouse запущен в докер-контейнере и в логах контейнера постоянно сыпятся сообщения типа:
%7|1597869112.888|RECV|ClickHouse 20.4.2.9#consumer-6| [thrd:GroupCoordinator]: GroupCoordinator/0: ...