Телеграмм чат группы hadoopusers страница 4588

Size: a a a

Data Engineers

3284 membersпожаловаться на группу

2021 December 05

helby in Data Engineers

спарк работает на JVM

возможностей взаимодействия на языках JVM больше

источник

14:43пожаловаться #1

ММ

Максим Мартынов... in Data Engineers

Spark внутри один и тот же.
Просто в случае Python он запускается в отдельном процессе, которому отправляются запросы на работу с dataframe. Делается это через прослойку py4j.
Ну и как написали выше, хоть Python и работает с точно таким же Spark, в pyspark реализованы методы-обертки не для всех функций. На Scala API будет побогаче

источник

14:48пожаловаться #2

Andrey Smirnov in Data Engineers

датабрикс стремятся к тому чтобы у питона были все те функции что и у скала api, навскидку я не скажу чего не хватает в питоне (хотя конечно 99% я пишу на скале)

источник

15:02пожаловаться #3

Alex K in Data Engineers

ребят, а как в pyspark этот вывод сделать читаемым? Это цеппелин

источник

18:26пожаловаться #4

ЕГ

Евгений Глотов... in Data Engineers

z.show(df)

источник

18:28пожаловаться #5

РГ

Рустам Гилазтдинов... in Data Engineers

Вне контекста цепелина, но вдруг поможет df.show(truncate=False)

источник

18:30пожаловаться #6

Alex K in Data Engineers

вроде так же

источник

18:33пожаловаться #7

ЕГ

Евгений Глотов... in Data Engineers

Это должно красивую табличку выводить

источник

18:35пожаловаться #8

Alex K in Data Engineers

а вот это огонь

источник

18:35пожаловаться #9

ЕГ

Евгений Глотов... in Data Engineers

🤝

источник

18:36пожаловаться #10

Alex K in Data Engineers

ещё и граафики то мокажно строить что ли

источник

18:36пожаловаться #11

Alex K in Data Engineers

подарок богов же

источник

18:39пожаловаться #12

Alex K in Data Engineers

Народ а подскажи, ещё. Я на работу устроился и там юзают hue, zeppelin для pyspark, читаем файлы из hadoop ну и oozie как планировшик. Не знаю насколько адекватный вопрос, но это норм стек(современный)?
Условно, мой опыт по нему бедет востребован или пора бежать отсюда?

Правда стоит отметить, что я скорее в сторону ds смотрю и de чкорее для получения данных и тп

источник

18:41пожаловаться #13

ЕГ

Евгений Глотов... in Data Engineers

Ну УЗИ чёт совсем олдскул

источник

18:43пожаловаться #14

Andrey Smirnov in Data Engineers

для России норм стек, если конечно спарк не 1.6 :)

источник

18:44пожаловаться #15

ЕГ