2

Проблема в следующем: Produser после перезагрузки компа сбрасывает offset и начинает отсчет с 0. т.е. вчера, например, дошел до offset[6589],а сегодня опять offset[0], поэтому consumer не может получить старые данные, например, за прошлый день. Кто знает, как правильно настроить, или где искать старые записи. Или нужно делать вручную коммиты (если автокоммит выключен) чтобы данные записывались на диск? Спасибо!

P.S. Проперти выставлены такие

    props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 1000000);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

1 ответ 1

0

Кафка по дефолту сохраняет данные в /tmp, поэтому нужно заменить в config/server.properties log.dirs на другую директорию, и тогда все будет ок. https://stackoverflow.com/questions/37710301/how-to-change-the-log-dirs-for-kafka-on-ubuntu-14-04

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.