0

Только начал изучать докер. Идея следующая: Есть 2 spring boot сервиса, между которыми общение осуществляется через кафку. Хочу попробовать перенести все это в докер. Для начала решил перенести в докер кафку. Используя docker-compose поднимаю zooKeeper и кафку так:

networks:
kafka-net:
driver: bridge

services:
zookeeper-server:
image: 'bitnami/zookeeper:latest'
networks:
  - kafka-net
ports:
  - '2181:2181'
environment:
  - ALLOW_ANONYMOUS_LOGIN=yes
kafka-server1:
image: 'bitnami/kafka:latest'
networks:
  - kafka-net    
ports:
  - '9092:9092'
environment:
  - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181
  - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
  - ALLOW_PLAINTEXT_LISTENER=yes
depends_on:
  - zookeeper-server

используя команду docker-compose -f ./compose.yaml up -d у меня получается поднять и zookeeper и кафку, но почему то, мои сервисы не видят ее. Вот конфиг класс consumer'a из сервиса:

@Configuration
public class KafkaConsumerConfig {
@Value("${kafka.server}")
private String kafkaServer;

@Value("${kafka.group.id}")
private String kafkaGroupId;

@Bean
public Map<String, Object> consumerConfigs() {
    Map<String, Object> props = new HashMap<>();
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaServer);
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, LongDeserializer.class);
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    props.put(ConsumerConfig.GROUP_ID_CONFIG, kafkaGroupId);
    return props;
}

@Bean
public KafkaListenerContainerFactory<?> kafkaListenerContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<Long, BookingReceiptDto> factory =
            new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory());
    return factory;
}

@Bean
public ConsumerFactory<Long, BookingReceiptDto> consumerFactory() {
    return new DefaultKafkaConsumerFactory<>(consumerConfigs());
}

И проперти файл данного сервиса:

server.port=8081
kafka.consumer.id=consumerServer
kafka.producer.id=producerServer
kafka.server=localhost:9092
kafka.group.id=server.broadcast

Думаю, что возможно, причина в том что порты как то не так проброшены. Но вроде бы все делаю по мануалам, а эффекта нет. В чем может быть причина?

4
  • 1. находясь там, где yml-файл, введите docker-compose ps (у вас там используется compose.yaml, поэтому еще с ключиком -f compose.yaml). Это покажет и контейнеры, и их порты. например, 0.0.0.0:3320->3306 - это проброс порта 3320 с машины на 3306 в контейнере. 2. kafka.server=localhost:9092 - а вот это уже интересно. Сервер приложений тоже в контейнере? Или прямо на машине, без контейнеров? Если внутри дрогого контейнера, то localhost:9092 конечно же не подойдет, так как внутри контейнера локалхост - это этот же контейнер! 6 сен 2021 в 10:09
  • Сейчас попробую, спасибо! Сервер не в контейнере. Сервер на компе запускается в контейнере только пока что кафка
    – Arty Mart
    6 сен 2021 в 10:13
  • 1
    Какую OS используете? Как дела обстоят с файрволами? Я проверил вашу конфигурацию на Win10 - compose рабочий. Доступ к кафке по localhost есть. 7 сен 2021 в 7:51
  • Использую win 8. А вот про файрволы не подумал. Попробую нарыть инфу как его вырубить. Если Вы знаете, можете смело писать) Спасибо огромное за помощь
    – Arty Mart
    7 сен 2021 в 16:03

2 ответа 2

1

Оказалось, что необходимо прокидывать другие порты. Вот как должен выглядеть zookeeper:

zookeeper:
   image: confluentinc/cp-zookeeper:latest
   environment:
     ZOOKEEPER_CLIENT_PORT: 2181
     ZOOKEEPER_TICK_TIME: 2000
   ports:
     - 22181:2181

А вот так кафка:

kafka:
  image: confluentinc/cp-kafka:latest
  depends_on:
    - zookeeper
  ports:
    - 29092:29092
  environment:
    KAFKA_BROKER_ID: 1
    KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
    KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

Тогда все поднимается отлично. Если же вам надо из своего сервиса, развернутого в контейнере получить доступ к кафке, это делается так:

receipt:
  container_name: receipt
  build: ./receipt
  ports: 
    - 8081:8081
  environment:
    KAFKA_SERVER: kafka:9092
  depends_on: 
    - kafka
0

[QUESTION] Flush returned with error code -185: 'Local: Timed out' - название ошибки, которое я пытался исправить. Данная ошибка возникла при добавлении в Laravel - Kafka и соответственно добавлении в инфраструктуру новых сервисов, это Kafka контейнер и Zookeeper контейнер. Мне помогли следующие 2 ответа:

  1. Пояснение git
  2. Откуда брал информацию stackoverflow
2

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.