R
Вообще вот тут гайд: http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html
Size: a a a
2019 August 02
神
а на чем приложение написано?
Java
R
и сборка через мавен?
神
и сборка через мавен?
Так точно
神
Только это происходит ещё до сборки в eclipse
R
у меня есть предположение что эту библиотечку надо еще на кластер подгрузить при сабмите:
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:2.4.3
神
В java build path пакет вижу
R
я делал пример с 2.4.0, пришлось руками прописать .jar файл в библиотечку:
https://github.com/renardeinside/wikiflow/blob/7ee208560c1a4e2a39127f3b46c09972f0bf6325/consumer/Dockerfile#L67
https://github.com/renardeinside/wikiflow/blob/7ee208560c1a4e2a39127f3b46c09972f0bf6325/consumer/Dockerfile#L67
神
Спасибо большое, посмотрю
神
Самое интересное, что пример с директ стримом работает
R
там две разные апишки, и это вообще полуэкпериментальная фича, как я понял
R
благо в проде нам не надо читать кафку напрямую и вот этими чудесами заниматься
神
там две разные апишки, и это вообще полуэкпериментальная фича, как я понял
Ну написано, что с 2.3 вроде как. Про степень готовности сего продукта можно только догадываться.
GP
神風
Самое интересное, что пример с директ стримом работает
обычно датасеты и датафреймы - первое что отваливается (весь spark-sql); остальное может и потерпеть иногда
GP
神風
Привет. Упражняюсь в structured streaming. Spark 2.4.3 Запускаю пример из документации spark.apache.org. Failed to find data source: kafka...
В зависимостях есть spark-streaming-kafka-0-10_2.12 version 2.4.3
В зависимостях есть spark-streaming-kafka-0-10_2.12 version 2.4.3
у тебя спарк скуль и кафка скуль тоже в заимосимостях?
GP
для стракчреда нужна кафка скульная
神
у тебя спарк скуль и кафка скуль тоже в заимосимостях?
Kafka-sql?
神
Вот такого я не положил...
神
spark-sql-kafka, теперь понятно
