всем привет. я тут начал копаться со structured streaming и есть несколько вещей, которые меня смущают в его работе. кто-то уже использовал это в проде?
Коллеги, добрый день =) Вопрос про spark-streaming + kafka Пытаюсь оптимизировать существующую обработку. Использую *Level of Parallelism in Data Receiving* (https://spark.apache.org/docs/2.1.1/streaming-programming-guide.html#level-of-parallelism-in-data-receiving) numStreams = 3 kafkaStreams = [KafkaUtils.createStream(...) for _ in range (numStreams)] unifiedStream = streamingContext.union(*kafkaStreams) Но по SparkUI вижу что сосет только в одну ноду