Отправляю продюсером с генератора нагрузки 10 тысяч сообщений в топик кафки, смотрю на графану, показывает, что отправлено 10 тысяч, в кафке смотрю суммарное кол-во сообщений, и каждый раз чуть чуть не хватает, к примеру 9959 или 9983. В чем может быть проблема и как ее локализовать, и определить?
1 ответ
- Графана только показывает то, что возвращает data source, возможно вам стоит проверить ее настройки визуализации а также то, откуда она берет данные
- Кафка сама по себе очень сложная система и в случае распределенной архитектуры может быть так, что одна реплика получила данные, но они еще не были скопированы на другие реплики или данные в памяти но не на диске.
Я бы для начала посоветовал включить логи DEBUG уровня и в JMeter и в Kafka и посмотреть нет ли там подозрительных записей.
Что еще можно предпринять:
По стороне JMeter:
- выставить параметер
acks
в-1
, тогда JMeter будет считать что сообщение доставлено когда все реплики подтвердили получение - увеличить значения
retries
иdelivery.timeout.ms
- выставить параметер
По стороне Kafka
- увеличить значение
min.insync.replicas
как минимум до 2
- увеличить значение
Вот неплохая статья которая объясняет возможные причины потери данных: When you can lose messages in Kafka