Вопросы с меткой [apache-kafka]
Руководство по использованию метки apache-kafka отсутствует.
46
вопросов
1
голос
0ответов
10 показов
apache kafka, как отследить/детекитровать событие - необработанные консюмером сообщения удалены retention политикой
Бывают случаи, когда консюмер по каким-то причинам не обработал сообщения, а retention политика уже эти сообщения удалила, и хотелось бы реагировать на это событие, например переотправить сообщения.
...
0
голосов
0ответов
21 показ
Смена уровня логирования Кафка
Есть необходимость отключить уровень логирования при старте приложения Кафка с INFO на WARNING. при старте в консоль пишутся логи
[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ...
0
голосов
1ответ
22 показа
Проблема в слушателях одного топика Kafka
Есть топик TOPIC_1, который слушают два слушателя C_1 and C_2, находящиеся в одной группе group_1. У обоих из них стоит стратегия RoundRobinAssignor , но при подключении второго слушателя ...
1
голос
1ответ
35 показов
номер порта при запросе на REST API endpoint в микросервисной архитектуре
Я не имею большого опыта в микросервисах и не совсем понимаю как поступить в нижеуказанной ситуации.
Есть два вебсервиса, продюсер и консьюмер. Общаются через Apache Kafka, собственно продюсер кидает ...
0
голосов
0ответов
13 показов
Как сериализовать и десериализовать avro сообщения используя kafka и spring boot?
Ннеобходим пример на уровне "Hello World". Что бы знать как подступиться к этому.
1
голос
3ответа
45 показов
Где хранится offset прочитанных сообщений Кафка?
Например, есть 4 консьюмера(потребителя), которые читаю данные из топика.
Как Кафка обеспечивает то, что ранее прочитанные сообщения из топика не будут повторно прочитаны другими потребителями или тем ...
0
голосов
0ответов
8 показов
Как сделать последовательную обработку событий Kafka по указанному параметру сообщения при наличии нескольких партиций?
Есть некий топик для которого настроено больше одной партиции
Несколько инстансов приложения подписанных на данный топик (происходит параллельная обработка событий)
Сообщение публикуемое в топике ...
0
голосов
0ответов
27 показов
Kafka вычитка из топика --from-beginning
Есть кафка кластер из 6 серверов(3 брокера, 3 зукипера). Топики создаются с одной партицией и 3 репликейшн фактором.
При попытке вычитки из топика
./kafka-console-consumer.sh --bootstrap-server ...
1
голос
1ответ
62 показа
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
2
голоса
2ответа
119 показов
Подключение go к apache kafka
В целях отладки развернул локально apache kafka с использованием этого прокта. Модифицировал кофигурационный файл следующим образом:
version: '2'
services:
zookeeper:
image: wurstmeister/...
0
голосов
1ответ
21 показ
Kotlin app configuration kafka consumer and produser with avro has failed
При попытке сконфигурировать кафку через application.yaml получаю ошибки при конфигурации consumer и producer вместе с авро сериализатором и дисериализатором. Приложение написано на kotlin. ...
0
голосов
0ответов
26 показов
Kafka Consumer не принимает сообщения. C#
Скачал с официального сайта Apache kafka. Так же установил Java и прописал все пути в среде пользователя. Запускаю сначала zookeper из каталога скаченного файла с оф. сайта bin\windows\zookeeper-...
0
голосов
0ответов
11 показов
Как выполнить преобразование KTable<String, GenericRecord> в KTable<String, GenericArray>?
Есть таблица KTable<String, GenericRecord>,
необходимо преобразовать в другую таблицу KTable<String, GenericArray>, таким образом, чтобы сгруппировать в GenericArray значения из первой ...
1
голос
1ответ
36 показов
Что из себя представляет значение объекта класса java.util.Date в кафка-сообщении?
Мой сервис отсылает сообщение в формате DTO с разными типами полей - String, Integer, Date итд. Kafka producer сериализует это DTO, kafka consumer в другом сервисе десериализует. Через KafkaTool я ...
0
голосов
0ответов
31 показ
Как соединить два Kafka topic через KTable?
Есть две темы в Kafka? которые пишутcя с использованием Avro схем (для key и value)
Эти топики нужно объединить в один.
Как я понимаю, это нужно сделать через KTable и leftJoin.
Из того, что мне ...
0
голосов
0ответов
6 показов
Zookeeper Start…Stopped | Kafka
Пытаюсь подружиться с Kafka. Скачал и установил Zookeeper. Делаю все согласно как в
инструкции тут
Вот скрины моих настроек
Путь к Zookeeper_home
Добавил так же в Path
Ну для начала скажу что ...
0
голосов
0ответов
98 показов
Почему происходит ребаланс в кафка?
Подскажите , почему может происходит ребаланс в кафке.
Используем кафку 2.1.0, всего 5 нод кафки , на каждой стоит zookeeper.
По какой то причине происходит ребаланс в группах кафки. В логах кафки ...
0
голосов
0ответов
12 показов
KTabel сохранение в Kafka
Всем привет.
Не могу найти ответ на свой вопрос:
При построении KTable все данные агрегируются в памяти приложения, есть ли возможность сохранения в kafka и как в БД обращаться по ключу?
-1
голос
1ответ
49 показов
How can I send a message to a topic after processing in kTable, kafka, java
Я прошу прощения за объяснение.
Я сделал группировку и вызвал функцию, после этого мне нужно отправить весь результат в тему, но если я попытаюсь прописать toStream и (...) он попросит меня сделать ...
0
голосов
0ответов
23 показа
Запуск Kafka на Mac OS NoSuchFileException: config/server.properties
Установил кафка на mac.
сделал папки
mkdir data/zookeper
mkdir data/kafka
и прописал их пути в
zookeeper.properties и server.properties соответсвенно
далее пытаюсь запустить zookeeper или Kafka из ...
0
голосов
1ответ
66 показов
Как правильно распределять запросы по микросервисам?
Допустим в качестве брокера запросов к микросервисам использую Кафка или Rabbit или что то другое.
Пока выбираю что использовать.
Но я не понимаю на основании чего брокеры знают каким именно сервисам ...
0
голосов
1ответ
16 показов
Flink CEP и parallelism
Произвожу обработку входящего потока с кафки при помощи flink cep. Описал pattern. Указал параллелизм у StreamExecutionEnviroment. Во flink dashboard вижу цепочку, где сама обработка сообщения с ...
1
голос
0ответов
60 показов
Как работать с Kafka? Управление версиями топиков
Как управлять Kafka не через консоль? Есть что то лучше, чем Kafka Manager?
Как централизированно хранить и управлять топиками, вести учет версий для их названий? Тоже самое касается управление ...
1
голос
1ответ
138 показов
Как отключить уровень логировния Debug при подключении кафки
Есть вот такой код:
fun main() {
val props = Properties()
props[StreamsConfig.APPLICATION_ID_CONFIG] = "first-stream-app"
props[StreamsConfig.BOOTSTRAP_SERVERS_CONFIG] = "127.0.0.1:9092"
...
1
голос
1ответ
67 показов
Можно ли читать параллельно в нескольких процессах/потоках из одной партиции Kafka?
У меня есть кластер и топики с 3 партициями. По умолчанию когда я забираю батч из кафки, я сдигаю оффсет после прочтения всех сообщений. Могу ли я параллельно читать в нескольких потоках из этой ...
1
голос
1ответ
215 показов
Организовать очередь сообщений
Есть задача организовать систему передачи сообщений от клиента к менеджеру. Сейчас используется со стороны клиента ejabber , со стороны менеджера "своя система приема и отправки сообщений" . Думаю что ...
0
голосов
1ответ
44 показа
Нормально ли в Kafka создать множество топиков для общения с сервисами?
У меня есть микросервисы и некий оркестратор, который управляет их работой.
Пытаюсь понять нормально ли поступать следующим образом:
К нам пришло сообщение на оркестратор через топик 1.
Оркестратор ...
0
голосов
1ответ
32 показа
Как вычитать с помощью спарка полный топик из кафки в batch mode
В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
1
голос
1ответ
68 показов
Как узнать дату последнего смещения тем в Kafka?
У меня есть Kafka множеством топиков.
И есть Consumer Kafka для чтения записей из этих тем:
public Set<ConsumerRecord> consumeKafka() {
consumer.subscribe(topics);
Set<...
1
голос
1ответ
382 показа
Kafka tool и не используемые consumers group
У нас в Kafka используется около десятка рабочих consumer group. Однако в Kafka tool 2.0.1 отображаются все consumer(ы) за всю историю ее использования.
Хотелось бы убрать лишние, но не знаю как это ...
2
голоса
1ответ
45 показов
Kafka Apache сбрасывает offset
Проблема в следующем:
Produser после перезагрузки компа сбрасывает offset и начинает отсчет с 0.
т.е. вчера, например, дошел до offset[6589],а сегодня опять offset[0], поэтому consumer не может ...
0
голосов
1ответ
19 показов
Как добавить несколько типов для поля при создании схемы Avro?
есть метод для создания схемы Avro:
public void schemaCreator(String recordName, EntityModel entityModel){
SchemaBuilder.FieldAssembler<Schema> fields;
SchemaBuilder....
-1
голос
1ответ
129 показов
Приложение в Docker контейнере не видит сетевых ресурсов. UnknownHostException
Всем привет, начинаю разбираться с Docker контейнерами, но не могу решить одну проблему.
Есть приложение с Kafka Consumer запущенное в Docker контейнере. Приложение использует сетевые ресурсы, но в ...
1
голос
1ответ
102 показа
Зеркальное копирование данных из топика Apache-Kafka
Как при помощи утилиты зеркального копирования kafka-mirror-maker.sh скопировать данные из топика source-кластера Kafka в топик target-кластера с другим именем?
К примеру: в первом кластере Kafka ...
1
голос
0ответов
26 показов
Как работает Kafka и RabbitMQ через NAT
Доброго времени суток!
Я разрабатываю распределенное приложение. Необходимо выбрать систему для обмена сообщениями. Выбор пал между Kafka и RabbitMQ.
У меня возник как будет работать мое приложение ...
0
голосов
1ответ
71 показ
Kafka Consumer один поток - один топик
Есть много топиков сообщений из Kafka, например 20.
Нужно для каждого отдельного топика создать поток на чтение данных (Consumer).
Но должно быть не более 10 потоков одновременно, и далее по кругу.
...
-2
голоса
1ответ
83 показа
Сохранение объектов из Kafka consumer в Postgesql
Есть Java приложение с Kafka consumer, которое принимает объекты из топиков.
Также используется схема Avro.
Как можно полученные объекты из топика записать в Postgres?
POJO-классы с JPA аннотациями ...
1
голос
0ответов
291 показ
AspNetCore + apache Kafka помогите разобраться
С Kafka раньше не работал
Здравствуйте, необходимо наладить коммуникацию с Java приложением, решил попробовать Kafka как посредника. Работаю под Win10.
Клиент для kafka от confluence для AspNetCore.
...
1
голос
1ответ
146 показов
Не создается topic KAfka
Всем привет.
У меня есть приложение, которое работает с Stream Kafka.
Я в нем также пытаюсь создать топики но получаю ошибку:
INFO Terminate ZkClient event thread. (org.I0Itec.zkclient....
1
голос
0ответов
87 показов
Apache kaffka запуск тестового consumer приводит к ошибке “Java.lang.OutOfMemoryError”
Запускаю Apache kaffka на компьютере с Win7 с помощью стандартных команд (указанных в QuickStart)
Zookeeper START.
E:\kafka_2.11-2.0.0\bin\windows\zookeeper-server-start.bat E:\kafka_2.11-2.0.0\...
0
голосов
1ответ
41 показ
Ошибка при запуске Kafka (kafka_2.11-2.0.0) на этапе запуска zookeper
Хочу запустить apache kafka на Win7. (На компе с Win10 все прошло гладко).
Использую инструкцию QuickStart с сайта Apach kafka.
Распаковал папку c файлам kaffka на диск C:\
Первым шагом пытаюсь ...
1
голос
1ответ
104 показа
Как в kafka определить кто подключен
Добрый день.
Прошу подсказать имеется ли какая-то возможность посмотреть в kafka (может в zoookeerer) кто ее использует(подключен или т.п.)
Можно конечно смотреть что-то через ZooInspector, но там нет ...
2
голоса
0ответов
36 показов
Как лучше реализовать доступ к одинаковым данным в реальном времени
Добрый день. Есть десяток скриптов, на разных серверах, которые ежеминутно генерируют файл динамичный по содержанию, но примерно одинаковый по структуре.
Структура файла не стандартная (не XML, Json),...
1
голос
1ответ
634 показа
org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'kafkaListenerContainerFactory'
Подключил Kafka в Spring Boot, взяв нужные классы из другого проекта, в котором реализован простой Spring, на Tomcat. Зависимость в сборке:
compile 'org.springframework.kafka:spring-kafka:2.1.0....
1
голос
1ответ
156 показов
Multitheading spring kafka consumer
Есть топик в kafka c одной партицией. Обработка одного сообщения из топика занимает продолжительное время. Можно ли написать многопоточный spring kafka consumer, чтобы успевать обрабатывать все данные,...
1
голос
1ответ
192 показа
Проблемы с запуском apache-kafka после перезагрузки сервера
Добрый день! Я выставил приоритет загрузки сервисов на одном из серверов. Все сервисы стартуют корректно, за исключением кафки, которая стартует последней. Скидываю лог кафки после запуска сервера.
(...