Телеграмм чат группы moscowspark страница 6

Size: a a a

Moscow Spark

872 membersпожаловаться на группу

2017 September 28

Grigory Pomadchin in Moscow Spark

2017 October 03

Torlin Bios in Moscow Spark

Egor Mateshuk

всем привет. я тут начал копаться со structured streaming и есть несколько вещей, которые меня смущают в его работе. кто-то уже использовал это в проде?

используем, что смущает?

источник

10:21пожаловаться #2

Petr Ermakov in Moscow Spark

Коллеги, добрый день =)
Вопрос про spark-streaming + kafka
Пытаюсь оптимизировать существующую обработку.
Использую *Level of Parallelism in Data Receiving* (https://spark.apache.org/docs/2.1.1/streaming-programming-guide.html#level-of-parallelism-in-data-receiving)

numStreams = 3
kafkaStreams = [KafkaUtils.createStream(...) for _ in range (numStreams)]
unifiedStream = streamingContext.union(*kafkaStreams)

Но по SparkUI вижу что сосет только в одну ноду

spark.apache.org

Spark Streaming - Spark 2.1.1 Documentation

Spark Streaming programming guide and tutorial for Spark 2.1.1

источник

11:22пожаловаться #3

Petr Ermakov in Moscow Spark

источник

11:22пожаловаться #4

Petr Ermakov in Moscow Spark

spark 2.1.1, kafka 0.10.1.0, 50 партиций

источник

11:23пожаловаться #5

Petr Ermakov in Moscow Spark

при этом видно что стримов несколько

источник

11:48пожаловаться #6

Petr Ermakov in Moscow Spark

источник

11:48пожаловаться #7

2017 October 09

Pavel Klemenkov in Moscow Spark

Всем привет, тухловато было в чатике последнее время, пришло время его взбодрить. Мы с коллегами из Яндекса, Одноклассников и Физтеха запустили специализацию на курсере https://www.coursera.org/specializations/big-data-engineering

Coursera

Coursera | Online Courses From Top Universities. Join for Free

3,000+ courses from schools like Stanford and Yale - no application required. Build career skills in data science, computer science, business, and more.