Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. Вопрос основан на аналогичном из другого языкового раздела.
Если объем данных каждой из передаваемых сущностьей превышает максимальный объем сообщений в Kafka, как consumer может узнать о завершении передачи очередного объекта?
Первая мысль - использовать дополнительный topic, куда слать сигналы о завершении.
Еще можно пересылать условный код в последних сообщениях. Тогда если у нас Х партиций, то код нужно отправлять в Х последних сообщениях.
Оба способа топорные. Хотелось бы найти более изящное решение.