ДД
newDf = oldDf.select("col1", "col2")
newDf = newDf.withColumn("new_col_name", newDf["col1"] - newDf["col2"]). drop ("col1", "col2")
newDf = newDf.withColumn("new_col_name", newDf["col1"] - newDf["col2"]). drop ("col1", "col2")
Size: a a a
2021 December 06
AK
блин, это тебе не pandas конечно
AK
Спасибо!
AK
уже час мучался
ДД
Не за что:)
PA
А есть тут кто возится с аирфлоу 2 + версии и активно использует Бигквери операторы для оркестрации скл джобов?
Вопросик есть
Вопросик есть
D
Вакансий с требованием знания скалы или явы вроде хватает и вилочки там поинтересней, по крайней мере по моему опыту поиска так. А питон и так всегда где то под боком, скорее вспомогательный скилл как баш.
D
Ну это скорее в Data Jobs, тут оффтопик.
Д
Практика расходится с теорией. На питон вакух больше. Скала в де похоже совсем для гиков, java для отмороденых гиков. Sql еще пока нужен с питоном, но postgres умеет питон из нутри.
Д
Сильно не пинайте, это стеб ... после дня со скалой и ch.
D
Больше не значит лучше.
А так общий тренд ясен, индустрия сnремится ускорять, удешевлять и унифицировать разработку. С точки зрения денег это выгодно, плюс ДСы и аналитики обычно знают только питон. Если от ДЕ не нужно ничего, кроме дергать API спарка - конечно лучше экономить.
А так общий тренд ясен, индустрия сnремится ускорять, удешевлять и унифицировать разработку. С точки зрения денег это выгодно, плюс ДСы и аналитики обычно знают только питон. Если от ДЕ не нужно ничего, кроме дергать API спарка - конечно лучше экономить.
D
Но исходники спарка все равно на скале как бы, и если надо чуть дальше копнуть - у питонистов будут проблемы, по моему представлению.
А
А что насчёт cloud? Тренд?
D
Ну, я сам планирую сертификацию проходить, на будущее надо подготовиться. Питон то если что подучить не проблема.
Д
Сертификация от датабрикс котируется ?
T
Сертификты кроме галер(не всех) ни кому не нужны
А
"галер"? Что это?
E
это галеры, где гребут :)
D
Ну сам уровень знаний КМК можно подтянуть в процессе получения. Коллеги проходили и остались довольны.
D
Правда за счет компании. 😉