В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
1 ответ
Можно читать из Kafka-топиков как в потоковом режиме, так и выполнить запрос в пакетном, указывая начальный и конечный оффсеты следующим образом:
val df = spark
.read
.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.option("subscribePattern", "topic.*")
.option("startingOffsets", "earliest")
.option("endingOffsets", "latest")
.load()
df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)").as[(String, String)]
Более подробно можете найти в документации: https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#creating-a-kafka-source-for-batch-queries