Вопросы с меткой [apache-kafka]

Руководство по использованию метки отсутствует.

Фильтрация
Сортировка
Метки
1 голос
0 ответов
22 показа

Как передать в топик Kafka финальный groupBy()

Прошу Вас помочь разобраться с KafkaStreams. Есть код, который делает обычный groupBy(): public static void createGroupByStream(final StreamsBuilder builder) { KStream<String, Person> ...
Falltroy's user avatar
0 голосов
0 ответов
32 показа

Как в kafka сделать, чтобы несколько потребителей не обрабатывали одно и то же сообщение в топике?

Если сделать цикл while на каждом потребитиле, то при отправке сообщение попадает к одному потребителю, а остальные простаивают
Алина's user avatar
0 голосов
0 ответов
38 показов

Как балансировать рассылку сообщений в Kafka на примере микросервисов на Nest.js?

Я создал приложение и несколько инстансов микросервиса Nest.js, которые взаимодействуют через Kafka. Сейчас первый запущенный микросервис принимает сообщения, а второй и последующие копии - не ...
Rakzin Roman's user avatar
  • 5,680
0 голосов
0 ответов
25 показов

Как получить названия топиков из конфигурации для аннотации KafkaListener?

В Spring boot сервисе мне нужно добавить метод который читает несколько Kafka топиков, при этом взяв их из конфигурации. Как я понимаю, для таких случаем можно использовать yaml-списки: kafka: ...
Александр Филатов's user avatar
0 голосов
0 ответов
11 показов

Приложение на java не видит сервер Kafka запущенный в докере на другом хосте

Разбираюсь с Kafka на предмет использования в приложении на java. Запустил kafka в виртуальной машине пол Linux. Запускаю брокер с настройками broker.id=0 listeners=PLAINTEXT://0.0.0.0:9095 advertised....
alexmntmnk's user avatar
0 голосов
1 ответ
382 показа

Распределение сообщений в патрициях кафки

Начинаю использовать Кафку в проекте и не могу разобраться в нескольких вопросах. Каждый топик в Кафке разбит на партиции и продюсеры при записи событий с key=null в топик в классическом исполнении ...
Петр Двыдкой's user avatar
1 голос
0 ответов
31 показ

Fluentbit (как отключить обёртку JSONа в JSON)?

В nginx пишутся логи в JSON формате далее Fluentbit берёт эти логи и отправляет в Kafka, смотрю что прилетает в Kafka и вижу что Fluentbit мой JSON (из nginx) обернул ещё раз в свой JSON. Получился ...
Kirill.ADV's user avatar
0 голосов
0 ответов
42 показа

Консюмер Кафки не пропускает часть сообщения

Консюмер Кафки пропускает часть сообщения. У меня есть консюмер Кафки: my_consumer = KafkaConsumer( 'events.taxonomy', bootstrap_servers=['localhost:9092'], auto_offset_reset='earliest', ...
George Rybojchuk's user avatar
0 голосов
0 ответов
157 показов

Размер сообщения в apache kafka

Какой приемлемый объём сообщений для кафки? 1,2,5,10,20 МБ? Это ок? Поток сообщений в пике 150 rps. Можно по партициям разнести
hedgehogues's user avatar
  • 9,251
0 голосов
0 ответов
127 показов

Как подключиться к kafka в docker из spring приложения в docker

Есть несколько контейнеров в docker-compose.yaml В нем БД, спринг приложение, кафка, ковл и зукипер. version: '3.8' networks: kafka-net: name: kafka-net driver: bridge services: postgres:...
Anonymous Anonymous's user avatar
0 голосов
1 ответ
94 показа

Помогите написать логику сценария для jmeter, kafka [закрыт]

Нужно написать логику сценария, чтобы продюсер отправлял запрос. А консьюмер читал топик.
monastyref's user avatar
-1 голос
1 ответ
184 показа

Как понять, куда пропала часть сообщений в топике кафки?

Отправляю продюсером с генератора нагрузки 10 тысяч сообщений в топик кафки, смотрю на графану, показывает, что отправлено 10 тысяч, в кафке смотрю суммарное кол-во сообщений, и каждый раз чуть чуть ...
monastyref's user avatar
0 голосов
0 ответов
88 показов

Зачем нужна кафка в данном примере?

Вот пример использования кафки для создания социальной сети ( где можно лайкать, постить, комментировать ). Но до меня никак не доходит, какой смысл отправлять информацию в кафку? Все равно ее надо ...
Klaus Köhler's user avatar
0 голосов
1 ответ
136 показов

Apache kafka - все сообщения producer уходят в один партишен

У меня есть топик first_topic с 3 partitions. Вот мой код, я отправляю 55 раз сообщение косьюмеру ( который у меня открыт в cmd ), код ниже прописывает в консоли partition, куда было отправлено ...
Klaus Köhler's user avatar
1 голос
1 ответ
78 показов

Как формировать названия для топиков Kafka?

Существует ли выработанные практики/стандарты для именования топиков в Kafka? Есть ли "правила хорошего тона" для этого? В документации и имеющихся книжках не смог найти этой информации. ...
Max Raskolnikov's user avatar
-1 голос
1 ответ
625 показов

Чтение кафка-топика двумя репликами

Какие настройки нужно применить для Consumer-а в java приложении, когда два экземпляра приложения (то есть два листенера) читают одновременно один топик с одной партицией? Необходимо задать, чтобы ...
Maksym Rybalkin's user avatar
-1 голос
1 ответ
66 показов

Kafka, в чем преимущество использования? [закрыт]

Пытаясь выбрать событийную интеграционную шину часто встречаю упоминание kafka. Поскольку интеграций у меня планируется не так много, самих потоков много, а вот сценариев интеграции два-три, то ...
Труфальдино's user avatar
0 голосов
0 ответов
188 показов

не подключиться к apache kafka после добавления еще одного брокера

Запускаю брокеры кафка в docker . Через docker-compose создаю контейнеры с кафкой зукипером и другими сервисами взаимодействующими с кафкой. Каждый брокер кафка и зукипер в отдельном контейнере. Web ...
Андрей Алексеев's user avatar
0 голосов
1 ответ
40 показов

JDBC Connector Confluent Kafka

Можно ли в конфигурации JDBC sink Connector Kafka каким-нибудь образом вызвать процедуру? Ознакомился с https://docs.confluent.io/kafka-connect-jdbc/current/sink-connector/sink_config_options.html Там ...
Геннадий Михайлов's user avatar
0 голосов
0 ответов
1k показов

Kafka: как увидеть список топиков?

я оказался в странной ситуации. Есть Kafka-сервер разработчиков, назовём его m1.dev.mysite.ru Располагается он внутри локалки, и я его прекрасно пингую. Далее я читаю "квикстарт", ...
S.H.'s user avatar
  • 10.8k
0 голосов
2 ответа
376 показов

Не могу подключиться к kafka из docker контейнера

Запускаю сервисы, а также kafka и zookeeper в контейнерах докер. Запускаю сервис akhq , который являются как бы панелью для просмотра топиков и сообщений кафка. В сервисе akhq отображаются созданные ...
Андрей Алексеев's user avatar
-1 голос
1 ответ
198 показов

кафка консумер перечитывает сообщения, по которым уже закоммичен offset

Недавно работаю с кафкой. Запускаю консумера. прочитаны все сообщения в топике к которому он подключается . Т.е. offset равен количеству сообщений. Консумер в консоль пишет что нет сообщений для ...
Андрей Алексеев's user avatar
0 голосов
0 ответов
472 показа

Kafka consumer не читает сообщения из очереди

Есть 2 сервиса с чтением из очереди по одному топику, конфигурации одинаковые кроме groupId, 1 partition, в логах вижу одинаковую конфигурацию consumer и успешное подключение. Один сервис читает ...
hqyaconnectcom's user avatar
0 голосов
1 ответ
120 показов

Как деплоить кафку на миникуб?

Проблема у меня довольно странная, я заливаю работающий image из докера если быть точнее wurstmeister/kafka , на докере контейнер создается, все работает, связывается с зукипером нормально и все такое....
Maxim Bashkatov's user avatar
0 голосов
0 ответов
101 показ

Выбор MQ очереди

Необходимо выбрать MQ очередь или что-то, что можно использовать таким образом, в рамках следующих условий. Продюсеров и потребителей может быть десятки тысяч, при этом каждый из них свободно ...
Pavel's user avatar
  • 5,247
1 голос
1 ответ
429 показов

Spring Kafka - Задержка времени у @KafkaListener при использовании seekToTimestamp у AbstractConsumerSeekAware

Пытаюсь реализовать Rest API с использованием Kafka. POST запрос обрабатывается быстро очень быстро и никаких нареканий к нему нет. GET запрос отрабатывает не совсем корректно и с заметной задержкой ...
Сергей Воронин's user avatar
0 голосов
1 ответ
313 показов

Как после consumer rebalance процесса, сбросить offset, что бы Consumer мог прочитать топик сначала?

Есть ситуация, когда Consumer1 читает сообщения из кафка топика. При подключении второго Consumer2 с таким же groupId, происходит перераспределение партиций, можно ли как то сбросить offset, что бы ...
drugzverya's user avatar
0 голосов
1 ответ
329 показов

как указывать в Кафка какому микросервису адресовано сообщение?

я новичок в Кафка. Теории изучил много, но на практике уже не понимаю как лучше с кафкой работать. как указывать в Кафка какому микросервису адресовано сообщение, если все микросервисы читают из общей ...
Андрей Алексеев's user avatar
0 голосов
0 ответов
48 показов

Кафка и реляционная база?

Пытаюсь спроектировать информационную систему с применением Кафки. Возникает вопрос, нужно ли использовать реляционную базу для хранения статических данных - таких как информация о пользователях и ...
user13314476's user avatar
1 голос
0 ответов
55 показов

apache kafka, как отследить/детекитровать событие - необработанные консюмером сообщения удалены retention политикой

Бывают случаи, когда консюмер по каким-то причинам не обработал сообщения, а retention политика уже эти сообщения удалила, и хотелось бы реагировать на это событие, например переотправить сообщения. ...
user2854511's user avatar
0 голосов
1 ответ
70 показов

Проблема в слушателях одного топика Kafka

Есть топик TOPIC_1, который слушают два слушателя C_1 and C_2, находящиеся в одной группе group_1. У обоих из них стоит стратегия RoundRobinAssignor , но при подключении второго слушателя ...
User's user avatar
  • 93
1 голос
1 ответ
913 показов

номер порта при запросе на REST API endpoint в микросервисной архитектуре

Я не имею большого опыта в микросервисах и не совсем понимаю как поступить в нижеуказанной ситуации. Есть два вебсервиса, продюсер и консьюмер. Общаются через Apache Kafka, собственно продюсер кидает ...
yakob's user avatar
  • 33
1 голос
3 ответа
1k показов

Где хранится offset прочитанных сообщений Кафка?

Например, есть 4 консьюмера(потребителя), которые читаю данные из топика. Как Кафка обеспечивает то, что ранее прочитанные сообщения из топика не будут повторно прочитаны другими потребителями или тем ...
Oleg's user avatar
  • 11
1 голос
1 ответ
948 показов

Как передавать объекты большого объема в Kafka

Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
Vasin Yuriy's user avatar
2 голоса
2 ответа
998 показов

Подключение go к apache kafka

В целях отладки развернул локально apache kafka с использованием этого прокта. Модифицировал кофигурационный файл следующим образом: version: '2' services: zookeeper: image: wurstmeister/...
anderson's user avatar
  • 407
0 голосов
1 ответ
83 показа

Kotlin app configuration kafka consumer and produser with avro has failed

При попытке сконфигурировать кафку через application.yaml получаю ошибки при конфигурации consumer и producer вместе с авро сериализатором и дисериализатором. Приложение написано на kotlin. ...
Мишаков Александр's user avatar
1 голос
1 ответ
133 показа

Что из себя представляет значение объекта класса java.util.Date в кафка-сообщении?

Мой сервис отсылает сообщение в формате DTO с разными типами полей - String, Integer, Date итд. Kafka producer сериализует это DTO, kafka consumer в другом сервисе десериализует. Через KafkaTool я ...
gianlucavachhi's user avatar
-1 голос
1 ответ
63 показа

How can I send a message to a topic after processing in kTable, kafka, java

Я прошу прощения за объяснение. Я сделал группировку и вызвал функцию, после этого мне нужно отправить весь результат в тему, но если я попытаюсь прописать toStream и (...) он попросит меня сделать ...
Alex's user avatar
  • 1
0 голосов
1 ответ
129 показов

Как правильно распределять запросы по микросервисам?

Допустим в качестве брокера запросов к микросервисам использую Кафка или Rabbit или что то другое. Пока выбираю что использовать. Но я не понимаю на основании чего брокеры знают каким именно сервисам ...
Андрей Алексеев's user avatar
0 голосов
1 ответ
26 показов

Flink CEP и parallelism

Произвожу обработку входящего потока с кафки при помощи flink cep. Описал pattern. Указал параллелизм у StreamExecutionEnviroment. Во flink dashboard вижу цепочку, где сама обработка сообщения с ...
Konstantin's user avatar
1 голос
1 ответ
451 показ

Как отключить уровень логировния Debug при подключении кафки

Есть вот такой код: fun main() { val props = Properties() props[StreamsConfig.APPLICATION_ID_CONFIG] = "first-stream-app" props[StreamsConfig.BOOTSTRAP_SERVERS_CONFIG] = "127.0.0.1:9092" ...
Василий Никпуп's user avatar
1 голос
1 ответ
378 показов

Можно ли читать параллельно в нескольких процессах/потоках из одной партиции Kafka?

У меня есть кластер и топики с 3 партициями. По умолчанию когда я забираю батч из кафки, я сдигаю оффсет после прочтения всех сообщений. Могу ли я параллельно читать в нескольких потоках из этой ...
Василий Никпуп's user avatar
1 голос
1 ответ
405 показов

Организовать очередь сообщений

Есть задача организовать систему передачи сообщений от клиента к менеджеру. Сейчас используется со стороны клиента ejabber , со стороны менеджера "своя система приема и отправки сообщений" . Думаю что ...
user212819's user avatar
0 голосов
1 ответ
132 показа

Нормально ли в Kafka создать множество топиков для общения с сервисами?

У меня есть микросервисы и некий оркестратор, который управляет их работой. Пытаюсь понять нормально ли поступать следующим образом: К нам пришло сообщение на оркестратор через топик 1. Оркестратор ...
Василий Никпуп's user avatar
0 голосов
1 ответ
185 показов

Как вычитать с помощью спарка полный топик из кафки в batch mode

В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
Андрей Козицкий's user avatar
1 голос
1 ответ
161 показ

Как узнать дату последнего смещения тем в Kafka?

У меня есть Kafka множеством топиков. И есть Consumer Kafka для чтения записей из этих тем: public Set<ConsumerRecord> consumeKafka() { consumer.subscribe(topics); Set<...
Леонид Дубравский's user avatar
2 голоса
1 ответ
702 показа

Kafka tool и не используемые consumers group

У нас в Kafka используется около десятка рабочих consumer group. Однако в Kafka tool 2.0.1 отображаются все consumer(ы) за всю историю ее использования. Хотелось бы убрать лишние, но не знаю как это ...
wedoca's user avatar
  • 371
2 голоса
1 ответ
161 показ

Kafka Apache сбрасывает offset

Проблема в следующем: Produser после перезагрузки компа сбрасывает offset и начинает отсчет с 0. т.е. вчера, например, дошел до offset[6589],а сегодня опять offset[0], поэтому consumer не может ...
AriUmu's user avatar
  • 21
0 голосов
1 ответ
32 показа

Как добавить несколько типов для поля при создании схемы Avro?

есть метод для создания схемы Avro: public void schemaCreator(String recordName, EntityModel entityModel){ SchemaBuilder.FieldAssembler<Schema> fields; SchemaBuilder....
Леонид Дубравский's user avatar
-1 голос
1 ответ
250 показов

Приложение в Docker контейнере не видит сетевых ресурсов. UnknownHostException

Всем привет, начинаю разбираться с Docker контейнерами, но не могу решить одну проблему. Есть приложение с Kafka Consumer запущенное в Docker контейнере. Приложение использует сетевые ресурсы, но в ...
Леонид Дубравский's user avatar