Телеграмм чат группы hadoopusers страница 1598

val readFromKafka = spark
        .readStream
        .format("kafka")
        .option("kafka.bootstrap.servers", config.bootstrapServer)
        .option("subscribe", config.inputKafkaTopic)
        .load()

но джоба падает с ошибкой

Invalid url in bootstrap.servers: null

источник

11:23пожаловаться #6

Renarde in Data Engineers

Rustam Iksanov

Инженеры! Читаю из кафки

val readFromKafka = spark
        .readStream
        .format("kafka")
        .option("kafka.bootstrap.servers", config.bootstrapServer)
        .option("subscribe", config.inputKafkaTopic)
        .load()

но джоба падает с ошибкой

Invalid url in bootstrap.servers: null

а config.bootstrapServer часом не null? Может не инициализировался?

источник

11:26пожаловаться #7

Rustam Iksanov in Data Engineers

Renarde

а config.bootstrapServer часом не null? Может не инициализировался?

нет, там кроме него еще есть параметры. Попробую сейчас жесткой прописать

источник

11:27пожаловаться #8

Renarde in Data Engineers

попробуйте просто строку туда вкинуть, для начала
а потом, сверьтесь что формат строки совпадает с докой - https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html

источник

11:28пожаловаться #9

Renarde in Data Engineers

В примере написано вот так:

.option("kafka.bootstrap.servers", "host1:port1,host2:port2")

источник

11:28пожаловаться #10

Rustam Iksanov in Data Engineers

Renarde

Формат совпадает. Запись в кафку идет.

источник

11:36пожаловаться #11

Renarde in Data Engineers

все чудесатее и чудесатее. У меня только вот такой работаюший пример под рукой с чтением из кафки, вроде все тоже самое:
https://github.com/renardeinside/spark-streaming-state-store-example

GitHub

renardeinside/spark-streaming-state-store-example

Spark Structured Streaming with State Store. Contribute to renardeinside/spark-streaming-state-store-example development by creating an account on GitHub.