Size: a a a

2019 July 26

GP

Grigory Pomadchin in Moscow Spark
Nikolay
Подскажите как работает pyspark.  Так я понял , что через py4j создаётся jvm со Спарк контекстом и соответственно устанавливает с ней связь через через gateway. Этот gateway - по факту обертака и канал над запуском spark-submit.вопрос сообствено про экзекьюторы.  В моем понимании никаких питоновских экзекьюторов не будет. Т.е питон передаст вызов action в jvm и заберёт себе результаты.
как-то так
источник

N

Nikolay in Moscow Spark
источник

N

Nikolay in Moscow Spark
У меня вопрос из-за этой картинки возник. Тут есть ещё процессы питоновских справа.зачем они ?
источник

DN

Dmitrii Nosov in Moscow Spark
На executor'ах UDF'ки запускать :)
источник

GP

Grigory Pomadchin in Moscow Spark
как мне кажется это диаграмка из их конфлюенса
источник

GP

Grigory Pomadchin in Moscow Spark
там было объяснение, что они под этим подразумевают то что ты пишешь трансформации над RDD на питоне, это все мапится в PythonRDD врапперы джавовые

и на воркерах PythonRDD ланчат питоновские подпроцессы и общается с ними спомощью пайпов техже чтобы петоноюзер код мог отработать
источник

N

Nikolay in Moscow Spark
Т.е если нам нужно выполнить код на питоне в процессе трансформаций, то мы ведь его не можем в жабу отдать и нужен процесс питоновских на воркером ?
источник

GP

Grigory Pomadchin in Moscow Spark
да
источник

N

Nikolay in Moscow Spark
Спасибо.пончтно .
источник

PK

Pavel Klemenkov in Moscow Spark
Nikolay
Ну эта картинка со времен RDD живет. Тогда там на питонах все выполнялось. Отдельно замечу пикантную IPC с помощью пайпа. Это вообще взрыв мозга. Да и ресрус менеджер не всегда вдупляет
источник

K

KrivdaTheTriewe in Moscow Spark
Pavel Klemenkov
Ну эта картинка со времен RDD живет. Тогда там на питонах все выполнялось. Отдельно замечу пикантную IPC с помощью пайпа. Это вообще взрыв мозга. Да и ресрус менеджер не всегда вдупляет
Когда я пишу под спарк на питоне возникает фраза в голове: «Карфаген должен быть разрушен»
источник

PK

Pavel Klemenkov in Moscow Spark
KrivdaTheTriewe
Когда я пишу под спарк на питоне возникает фраза в голове: «Карфаген должен быть разрушен»
источник

t

tenKe in Moscow Spark
KrivdaTheTriewe
Когда я пишу под спарк на питоне возникает фраза в голове: «Карфаген должен быть разрушен»
питон самый лучше язык в мире, если ты не знал
источник

t

tenKe in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
tenKe
питон самый лучше язык в мире, если ты не знал
еще R есть
источник

t

tenKe in Moscow Spark
это для илиты
источник
2019 July 29

K

KrivdaTheTriewe in Moscow Spark
Переслано от Oleg ℕizhnik
Внимание!

Этой осенью в Москве нас ждёт сразу две крупных встречи, посвящённых Scala

🔸 28 сентября Митап Scala Russia при поддержке tinkoff.ru

🔸 26 ноября  ScalaConf https://scalaconf.ru/:

————————————————
28 сентября:

Митап Scala Russia при поддержке tinkoff.ru

Продолжается прием заявок на доклады
Для удобства подачи сделали формы :

RUS https://forms.gle/bAYzgXJ3JKH6q9Jx6
ENG https://forms.gle/KX1gunrRDeo4yEd37
Если хочется рассказать что-то небольшое, то можно воспользоваться формой для Lightning talks :
https://forms.gle/vS6h6PuVk4gFRB7C6

Специальный гость — John De Goes.  Джон выступит с докладом и проведет воркшоп.

Нас ждет:

🔹 2 потока,
🔹 7 докладов,
🔹 2 воркшопа.

Комфортная атмосфера нетворкинга. Еда. Бомбическое афтерпати

Участие — бесплатное.

Регистрация откроется чуть позже.
————————————————


Конференция ScalaConf

Подавайте доклады или берите билеты!

Дедлайн по подаче: 26 сентября
Билеты: цены зависят от даты покупки - чекайте график повышения на сайте.

Вся инфа и кнопки подачи на сайте: https://scalaconf.ru/2019

Группа для всех интересующихся https://t.me/ScalaConfTalks
источник

K

KrivdaTheTriewe in Moscow Spark
доклады прнимаются
источник

ВЧ

Влад Чесноков... in Moscow Spark
KrivdaTheTriewe
Переслано от Oleg ℕizhnik
Внимание!

Этой осенью в Москве нас ждёт сразу две крупных встречи, посвящённых Scala

🔸 28 сентября Митап Scala Russia при поддержке tinkoff.ru

🔸 26 ноября  ScalaConf https://scalaconf.ru/:

————————————————
28 сентября:

Митап Scala Russia при поддержке tinkoff.ru

Продолжается прием заявок на доклады
Для удобства подачи сделали формы :

RUS https://forms.gle/bAYzgXJ3JKH6q9Jx6
ENG https://forms.gle/KX1gunrRDeo4yEd37
Если хочется рассказать что-то небольшое, то можно воспользоваться формой для Lightning talks :
https://forms.gle/vS6h6PuVk4gFRB7C6

Специальный гость — John De Goes.  Джон выступит с докладом и проведет воркшоп.

Нас ждет:

🔹 2 потока,
🔹 7 докладов,
🔹 2 воркшопа.

Комфортная атмосфера нетворкинга. Еда. Бомбическое афтерпати

Участие — бесплатное.

Регистрация откроется чуть позже.
————————————————


Конференция ScalaConf

Подавайте доклады или берите билеты!

Дедлайн по подаче: 26 сентября
Билеты: цены зависят от даты покупки - чекайте график повышения на сайте.

Вся инфа и кнопки подачи на сайте: https://scalaconf.ru/2019

Группа для всех интересующихся https://t.me/ScalaConfTalks
А ссылка на митап есть? Где регистрироваться?
источник

ZM

ZLoyer Matveev in Moscow Spark
Влад Чесноков
А ссылка на митап есть? Где регистрироваться?
> Откроется позже
источник