Size: a a a

2017 September 28

GP

Grigory Pomadchin in Moscow Spark
источник
2017 October 03

TB

Torlin Bios in Moscow Spark
Egor Mateshuk
всем привет. я тут начал копаться со structured streaming и есть несколько вещей, которые меня смущают в его работе. кто-то уже использовал это в проде?
используем, что смущает?
источник

PE

Petr Ermakov in Moscow Spark
Коллеги, добрый день =)
Вопрос про spark-streaming + kafka
Пытаюсь оптимизировать существующую обработку.
Использую *Level of Parallelism in Data Receiving* (https://spark.apache.org/docs/2.1.1/streaming-programming-guide.html#level-of-parallelism-in-data-receiving)
numStreams = 3
kafkaStreams = [KafkaUtils.createStream(...) for _ in range (numStreams)]
unifiedStream = streamingContext.union(*kafkaStreams)

Но по SparkUI вижу что сосет только в одну ноду
источник

PE

Petr Ermakov in Moscow Spark
источник

PE

Petr Ermakov in Moscow Spark
spark 2.1.1, kafka 0.10.1.0, 50 партиций
источник

PE

Petr Ermakov in Moscow Spark
при этом видно что стримов несколько
источник

PE

Petr Ermakov in Moscow Spark
источник
2017 October 09

PK

Pavel Klemenkov in Moscow Spark
Всем привет, тухловато было в чатике последнее время, пришло время его взбодрить. Мы с коллегами из Яндекса, Одноклассников и Физтеха запустили специализацию на курсере https://www.coursera.org/specializations/big-data-engineering
источник

PK

Pavel Klemenkov in Moscow Spark
Она будет полезна не только новичкам, но и практикующим специалистам, которые могут углубить отдельные области знаний.
источник

NK

ID:1373407 in Moscow Spark
вот вы молодцы
источник

Ds

Dmitry says in Moscow Spark
Павел, вы уже в яндексе?
источник

Ds

Dmitry says in Moscow Spark
Специализация интересная. Спасибо.
источник

PK

Pavel Klemenkov in Moscow Spark
Dmitry says
Павел, вы уже в яндексе?
Не, я все еще в Rambler&Co )
источник

R

Rogoley in Moscow Spark
курс полностью на английском?
источник

PK

Pavel Klemenkov in Moscow Spark
Да
источник

R

Rogoley in Moscow Spark
ок, спасибо, уже купил
источник

PK

Pavel Klemenkov in Moscow Spark
👍
источник
2017 October 10

AA

Alexander Akopov in Moscow Spark
А 1й курс начался уже? Почему то у меня не активен.
источник

R

Rogoley in Moscow Spark
и у меня
источник

AD

Alex D in Moscow Spark
и у меня до сих пор не активен ((
источник