как-то так

У меня вопрос из-за этой картинки возник. Тут есть ещё процессы питоновских справа.зачем они ?

На executor'ах UDF'ки запускать :)

как мне кажется это диаграмка из их конфлюенса

там было объяснение, что они под этим подразумевают то что ты пишешь трансформации над RDD на питоне, это все мапится в PythonRDD врапперы джавовые

и на воркерах PythonRDD ланчат питоновские подпроцессы и общается с ними спомощью пайпов техже чтобы петоноюзер код мог отработать

Т.е если нам нужно выполнить код на питоне в процессе трансформаций, то мы ведь его не можем в жабу отдать и нужен процесс питоновских на воркером ?

да

Спасибо.пончтно .

Ну эта картинка со времен RDD живет. Тогда там на питонах все выполнялось. Отдельно замечу пикантную IPC с помощью пайпа. Это вообще взрыв мозга. Да и ресрус менеджер не всегда вдупляет

Когда я пишу под спарк на питоне возникает фраза в голове: «Карфаген должен быть разрушен»

питон самый лучше язык в мире, если ты не знал

еще R есть

это для илиты

Внимание!

Этой осенью в Москве нас ждёт сразу две крупных встречи, посвящённых Scala

🔸 28 сентября Митап Scala Russia при поддержке tinkoff.ru

🔸 26 ноября  ScalaConf https://scalaconf.ru/:

————————————————
28 сентября:

Митап Scala Russia при поддержке tinkoff.ru

Продолжается прием заявок на доклады
Для удобства подачи сделали формы :

RUS https://forms.gle/bAYzgXJ3JKH6q9Jx6
ENG https://forms.gle/KX1gunrRDeo4yEd37
Если хочется рассказать что-то небольшое, то можно воспользоваться формой для Lightning talks :
https://forms.gle/vS6h6PuVk4gFRB7C6

Специальный гость — John De Goes.  Джон выступит с докладом и проведет воркшоп.

Нас ждет:

🔹 2 потока,
🔹 7 докладов,
🔹 2 воркшопа.

Комфортная атмосфера нетворкинга. Еда. Бомбическое афтерпати

Участие — бесплатное.

Регистрация откроется чуть позже.
————————————————


Конференция ScalaConf

Подавайте доклады или берите билеты!

Дедлайн по подаче: 26 сентября
Билеты: цены зависят от даты покупки - чекайте график повышения на сайте.

Вся инфа и кнопки подачи на сайте: https://scalaconf.ru/2019

Группа для всех интересующихся https://t.me/ScalaConfTalks

доклады прнимаются

А ссылка на митап есть? Где регистрироваться?

> Откроется позже