Вопросы с меткой [apache-kafka]
Руководство по использованию метки apache-kafka отсутствует.
63
вопроса
1
голос
0
ответов
22
показа
Как передать в топик Kafka финальный groupBy()
Прошу Вас помочь разобраться с KafkaStreams.
Есть код, который делает обычный groupBy():
public static void createGroupByStream(final StreamsBuilder builder) {
KStream<String, Person> ...
0
голосов
0
ответов
32
показа
Как в kafka сделать, чтобы несколько потребителей не обрабатывали одно и то же сообщение в топике?
Если сделать цикл while на каждом потребитиле, то при отправке сообщение попадает к одному потребителю, а остальные простаивают
0
голосов
0
ответов
38
показов
Как балансировать рассылку сообщений в Kafka на примере микросервисов на Nest.js?
Я создал приложение и несколько инстансов микросервиса Nest.js, которые взаимодействуют через Kafka.
Сейчас первый запущенный микросервис принимает сообщения, а второй и последующие копии - не ...
0
голосов
0
ответов
25
показов
Как получить названия топиков из конфигурации для аннотации KafkaListener?
В Spring boot сервисе мне нужно добавить метод который читает несколько Kafka топиков, при этом взяв их из конфигурации. Как я понимаю, для таких случаем можно использовать yaml-списки:
kafka:
...
0
голосов
0
ответов
11
показов
Приложение на java не видит сервер Kafka запущенный в докере на другом хосте
Разбираюсь с Kafka на предмет использования в приложении на java.
Запустил kafka в виртуальной машине пол Linux.
Запускаю брокер с настройками
broker.id=0
listeners=PLAINTEXT://0.0.0.0:9095
advertised....
0
голосов
1
ответ
382
показа
Распределение сообщений в патрициях кафки
Начинаю использовать Кафку в проекте и не могу разобраться в нескольких вопросах. Каждый топик в Кафке разбит на партиции и продюсеры при записи событий с key=null в топик в классическом исполнении ...
1
голос
0
ответов
31
показ
Fluentbit (как отключить обёртку JSONа в JSON)?
В nginx пишутся логи в JSON формате далее Fluentbit берёт эти логи и отправляет в Kafka, смотрю что прилетает в Kafka и вижу что Fluentbit мой JSON (из nginx) обернул ещё раз в свой JSON. Получился ...
0
голосов
0
ответов
42
показа
Консюмер Кафки не пропускает часть сообщения
Консюмер Кафки пропускает часть сообщения. У меня есть консюмер Кафки:
my_consumer = KafkaConsumer(
'events.taxonomy',
bootstrap_servers=['localhost:9092'],
auto_offset_reset='earliest',
...
0
голосов
0
ответов
157
показов
Размер сообщения в apache kafka
Какой приемлемый объём сообщений для кафки? 1,2,5,10,20 МБ? Это ок? Поток сообщений в пике 150 rps. Можно по партициям разнести
0
голосов
0
ответов
127
показов
Как подключиться к kafka в docker из spring приложения в docker
Есть несколько контейнеров в docker-compose.yaml
В нем БД, спринг приложение, кафка, ковл и зукипер.
version: '3.8'
networks:
kafka-net:
name: kafka-net
driver: bridge
services:
postgres:...
0
голосов
1
ответ
94
показа
Помогите написать логику сценария для jmeter, kafka [закрыт]
Нужно написать логику сценария, чтобы продюсер отправлял запрос.
А консьюмер читал топик.
-1
голос
1
ответ
184
показа
Как понять, куда пропала часть сообщений в топике кафки?
Отправляю продюсером с генератора нагрузки 10 тысяч сообщений в топик кафки, смотрю на графану, показывает, что отправлено 10 тысяч, в кафке смотрю суммарное кол-во сообщений, и каждый раз чуть чуть ...
0
голосов
0
ответов
88
показов
Зачем нужна кафка в данном примере?
Вот пример использования кафки для создания социальной сети ( где можно лайкать, постить, комментировать ).
Но до меня никак не доходит, какой смысл отправлять информацию в кафку? Все равно ее надо ...
0
голосов
1
ответ
136
показов
Apache kafka - все сообщения producer уходят в один партишен
У меня есть топик first_topic с 3 partitions.
Вот мой код, я отправляю 55 раз сообщение косьюмеру ( который у меня открыт в cmd ), код ниже прописывает в консоли partition, куда было отправлено ...
1
голос
1
ответ
78
показов
Как формировать названия для топиков Kafka?
Существует ли выработанные практики/стандарты для именования топиков в Kafka?
Есть ли "правила хорошего тона" для этого?
В документации и имеющихся книжках не смог найти этой информации.
...
-1
голос
1
ответ
625
показов
Чтение кафка-топика двумя репликами
Какие настройки нужно применить для Consumer-а в java приложении, когда два экземпляра приложения (то есть два листенера) читают одновременно один топик с одной партицией?
Необходимо задать, чтобы ...
-1
голос
1
ответ
66
показов
Kafka, в чем преимущество использования? [закрыт]
Пытаясь выбрать событийную интеграционную шину часто встречаю упоминание kafka. Поскольку интеграций у меня планируется не так много, самих потоков много, а вот сценариев интеграции два-три, то ...
0
голосов
0
ответов
188
показов
не подключиться к apache kafka после добавления еще одного брокера
Запускаю брокеры кафка в docker .
Через docker-compose создаю контейнеры с кафкой зукипером и другими сервисами взаимодействующими с кафкой.
Каждый брокер кафка и зукипер в отдельном контейнере.
Web ...
0
голосов
1
ответ
40
показов
JDBC Connector Confluent Kafka
Можно ли в конфигурации JDBC sink Connector Kafka каким-нибудь образом вызвать процедуру?
Ознакомился с https://docs.confluent.io/kafka-connect-jdbc/current/sink-connector/sink_config_options.html
Там ...
0
голосов
0
ответов
1k
показов
Kafka: как увидеть список топиков?
я оказался в странной ситуации.
Есть Kafka-сервер разработчиков, назовём его m1.dev.mysite.ru
Располагается он внутри локалки, и я его прекрасно пингую.
Далее я читаю "квикстарт", ...
0
голосов
2
ответа
376
показов
Не могу подключиться к kafka из docker контейнера
Запускаю сервисы, а также kafka и zookeeper в контейнерах докер.
Запускаю сервис akhq , который являются как бы панелью для просмотра топиков и сообщений кафка.
В сервисе akhq отображаются созданные ...
-1
голос
1
ответ
198
показов
кафка консумер перечитывает сообщения, по которым уже закоммичен offset
Недавно работаю с кафкой.
Запускаю консумера. прочитаны все сообщения в топике к которому он подключается . Т.е. offset равен количеству сообщений.
Консумер в консоль пишет что нет сообщений для ...
0
голосов
0
ответов
472
показа
Kafka consumer не читает сообщения из очереди
Есть 2 сервиса с чтением из очереди по одному топику, конфигурации одинаковые кроме groupId, 1 partition, в логах вижу одинаковую конфигурацию consumer и успешное подключение.
Один сервис читает ...
0
голосов
1
ответ
120
показов
Как деплоить кафку на миникуб?
Проблема у меня довольно странная, я заливаю работающий image из докера если быть точнее wurstmeister/kafka , на докере контейнер создается, все работает, связывается с зукипером нормально и все такое....
0
голосов
0
ответов
101
показ
Выбор MQ очереди
Необходимо выбрать MQ очередь или что-то, что можно использовать таким образом, в рамках следующих условий.
Продюсеров и потребителей может быть десятки тысяч, при этом каждый из них свободно ...
1
голос
1
ответ
429
показов
Spring Kafka - Задержка времени у @KafkaListener при использовании seekToTimestamp у AbstractConsumerSeekAware
Пытаюсь реализовать Rest API с использованием Kafka. POST запрос обрабатывается быстро очень быстро и никаких нареканий к нему нет. GET запрос отрабатывает не совсем корректно и с заметной задержкой ...
0
голосов
1
ответ
313
показов
Как после consumer rebalance процесса, сбросить offset, что бы Consumer мог прочитать топик сначала?
Есть ситуация, когда Consumer1 читает сообщения из кафка топика. При подключении второго Consumer2 с таким же groupId, происходит перераспределение партиций, можно ли как то сбросить offset, что бы ...
0
голосов
1
ответ
329
показов
как указывать в Кафка какому микросервису адресовано сообщение?
я новичок в Кафка. Теории изучил много, но на практике уже не понимаю как лучше с кафкой работать.
как указывать в Кафка какому микросервису адресовано сообщение, если все микросервисы читают из общей ...
0
голосов
0
ответов
48
показов
Кафка и реляционная база?
Пытаюсь спроектировать информационную систему с применением Кафки. Возникает вопрос, нужно ли использовать реляционную базу для хранения статических данных - таких как информация о пользователях и ...
1
голос
0
ответов
55
показов
apache kafka, как отследить/детекитровать событие - необработанные консюмером сообщения удалены retention политикой
Бывают случаи, когда консюмер по каким-то причинам не обработал сообщения, а retention политика уже эти сообщения удалила, и хотелось бы реагировать на это событие, например переотправить сообщения.
...
0
голосов
1
ответ
70
показов
Проблема в слушателях одного топика Kafka
Есть топик TOPIC_1, который слушают два слушателя C_1 and C_2, находящиеся в одной группе group_1. У обоих из них стоит стратегия RoundRobinAssignor , но при подключении второго слушателя ...
1
голос
1
ответ
913
показов
номер порта при запросе на REST API endpoint в микросервисной архитектуре
Я не имею большого опыта в микросервисах и не совсем понимаю как поступить в нижеуказанной ситуации.
Есть два вебсервиса, продюсер и консьюмер. Общаются через Apache Kafka, собственно продюсер кидает ...
1
голос
3
ответа
1k
показов
Где хранится offset прочитанных сообщений Кафка?
Например, есть 4 консьюмера(потребителя), которые читаю данные из топика.
Как Кафка обеспечивает то, что ранее прочитанные сообщения из топика не будут повторно прочитаны другими потребителями или тем ...
1
голос
1
ответ
948
показов
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
2
голоса
2
ответа
998
показов
Подключение go к apache kafka
В целях отладки развернул локально apache kafka с использованием этого прокта. Модифицировал кофигурационный файл следующим образом:
version: '2'
services:
zookeeper:
image: wurstmeister/...
0
голосов
1
ответ
83
показа
Kotlin app configuration kafka consumer and produser with avro has failed
При попытке сконфигурировать кафку через application.yaml получаю ошибки при конфигурации consumer и producer вместе с авро сериализатором и дисериализатором. Приложение написано на kotlin. ...
1
голос
1
ответ
133
показа
Что из себя представляет значение объекта класса java.util.Date в кафка-сообщении?
Мой сервис отсылает сообщение в формате DTO с разными типами полей - String, Integer, Date итд. Kafka producer сериализует это DTO, kafka consumer в другом сервисе десериализует. Через KafkaTool я ...
-1
голос
1
ответ
63
показа
How can I send a message to a topic after processing in kTable, kafka, java
Я прошу прощения за объяснение.
Я сделал группировку и вызвал функцию, после этого мне нужно отправить весь результат в тему, но если я попытаюсь прописать toStream и (...) он попросит меня сделать ...
0
голосов
1
ответ
129
показов
Как правильно распределять запросы по микросервисам?
Допустим в качестве брокера запросов к микросервисам использую Кафка или Rabbit или что то другое.
Пока выбираю что использовать.
Но я не понимаю на основании чего брокеры знают каким именно сервисам ...
0
голосов
1
ответ
26
показов
Flink CEP и parallelism
Произвожу обработку входящего потока с кафки при помощи flink cep. Описал pattern. Указал параллелизм у StreamExecutionEnviroment. Во flink dashboard вижу цепочку, где сама обработка сообщения с ...
1
голос
1
ответ
451
показ
Как отключить уровень логировния Debug при подключении кафки
Есть вот такой код:
fun main() {
val props = Properties()
props[StreamsConfig.APPLICATION_ID_CONFIG] = "first-stream-app"
props[StreamsConfig.BOOTSTRAP_SERVERS_CONFIG] = "127.0.0.1:9092"
...
1
голос
1
ответ
378
показов
Можно ли читать параллельно в нескольких процессах/потоках из одной партиции Kafka?
У меня есть кластер и топики с 3 партициями. По умолчанию когда я забираю батч из кафки, я сдигаю оффсет после прочтения всех сообщений. Могу ли я параллельно читать в нескольких потоках из этой ...
1
голос
1
ответ
405
показов
Организовать очередь сообщений
Есть задача организовать систему передачи сообщений от клиента к менеджеру. Сейчас используется со стороны клиента ejabber , со стороны менеджера "своя система приема и отправки сообщений" . Думаю что ...
0
голосов
1
ответ
132
показа
Нормально ли в Kafka создать множество топиков для общения с сервисами?
У меня есть микросервисы и некий оркестратор, который управляет их работой.
Пытаюсь понять нормально ли поступать следующим образом:
К нам пришло сообщение на оркестратор через топик 1.
Оркестратор ...
0
голосов
1
ответ
185
показов
Как вычитать с помощью спарка полный топик из кафки в batch mode
В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
1
голос
1
ответ
161
показ
Как узнать дату последнего смещения тем в Kafka?
У меня есть Kafka множеством топиков.
И есть Consumer Kafka для чтения записей из этих тем:
public Set<ConsumerRecord> consumeKafka() {
consumer.subscribe(topics);
Set<...
2
голоса
1
ответ
702
показа
Kafka tool и не используемые consumers group
У нас в Kafka используется около десятка рабочих consumer group. Однако в Kafka tool 2.0.1 отображаются все consumer(ы) за всю историю ее использования.
Хотелось бы убрать лишние, но не знаю как это ...
2
голоса
1
ответ
161
показ
Kafka Apache сбрасывает offset
Проблема в следующем:
Produser после перезагрузки компа сбрасывает offset и начинает отсчет с 0.
т.е. вчера, например, дошел до offset[6589],а сегодня опять offset[0], поэтому consumer не может ...
0
голосов
1
ответ
32
показа
Как добавить несколько типов для поля при создании схемы Avro?
есть метод для создания схемы Avro:
public void schemaCreator(String recordName, EntityModel entityModel){
SchemaBuilder.FieldAssembler<Schema> fields;
SchemaBuilder....
-1
голос
1
ответ
250
показов
Приложение в Docker контейнере не видит сетевых ресурсов. UnknownHostException
Всем привет, начинаю разбираться с Docker контейнерами, но не могу решить одну проблему.
Есть приложение с Kafka Consumer запущенное в Docker контейнере. Приложение использует сетевые ресурсы, но в ...