Size: a a a

2020 April 03

UD

Uncel Duk in Data Engineers
( пока оперативка не станет как чугунный мост за планку)
источник

DZ

Dmitry Zuev in Data Engineers
Pavel
сейчас каждое 8е собеседование из 10 проходит примерно так: нууу java когда-то давно в универе пробовал, а сейчас на питоне хуячу
Я джаву не пробывал вовсе, чтобы понять что питон не нужен для спарка
источник

P

Pavel in Data Engineers
Dmitry Zuev
Я джаву не пробывал вовсе, чтобы понять что питон не нужен для спарка
ну, ща вас тогда другой админ забанит, который пробовал джаву)
источник

DZ

Dmitry Zuev in Data Engineers
Pavel
ну, ща вас тогда другой админ забанит, который пробовал джаву)
а его который питон
источник

DZ

Dmitry Zuev in Data Engineers
Uncel Duk
альтернатив особо нет
то то спарк придумали и распределенные алгоритмы придумывают, чтобы потом взять тачку на 1Тб памяти для питона
источник

P

Pavel in Data Engineers
блин, вы этим бла бла бла голосовалку спихнули куда-то в жопу
источник

UD

Uncel Duk in Data Engineers
Dmitry Zuev
то то спарк придумали и распределенные алгоритмы придумывают, чтобы потом взять тачку на 1Тб памяти для питона
а вот в машинных кодах то
источник

DZ

Dmitry Zuev in Data Engineers
Переслано от Pavel
Если у меня будет возможность, я бы писал...
Анонимный опрос
24%
Прикладной код на Java
37%
Прикладной код на Scala
21%
Прикладной код на Python
11%
Прикладной код на чём-то экзотическом
11%
ETL на Java
46%
ETL на Scala (spark sql решает)
24%
ETL на Python
7%
ETL на чём-то экзотическом
Проголосовало: 89
источник

P

Pavel in Data Engineers
о  🙂
источник

DZ

Dmitry Zuev in Data Engineers
Uncel Duk
а вот в машинных кодах то
при чем тут это. скала высокого уровня.
источник

UD

Uncel Duk in Data Engineers
Dmitry Zuev
при чем тут это. скала высокого уровня.
Порог вхождения и скорость выполнения хотелок заказчиков
источник

AZ

Anton Zadorozhniy in Data Engineers
Scala не считается чем-то экзотическим?
источник

AZ

Anton Zadorozhniy in Data Engineers
я бы писал DSLли для ETL и метаданных, что выбрать-то?
источник

АЖ

Андрей Жуков... in Data Engineers
смешная третья опция
источник

як

я никуда не тороплюс... in Data Engineers
Ребзя, чё значит "бинарный Ignite visor"? Я про такой не слышал никогда.
источник

як

я никуда не тороплюс... in Data Engineers
источник

як

я никуда не тороплюс... in Data Engineers
Переслано от Ilya K
Вы из исходников запускаете, а надо из бинарного
источник

AZ

Anton Zadorozhniy in Data Engineers
не очень понятно что такое "писать ETL на", как правило ETL пишется на ETL платформе/фреймворке, в этом смысле было бы логично "писать прикладной ETL на DSL под" и "писать ETL платформу на"
источник

ME

Max Efremov in Data Engineers
Uncel Duk
( пока оперативка не станет как чугунный мост за планку)
вернёмся к MR, со скидыванием на хард))
источник

P

Pavel in Data Engineers
Anton Zadorozhniy
не очень понятно что такое "писать ETL на", как правило ETL пишется на ETL платформе/фреймворке, в этом смысле было бы логично "писать прикладной ETL на DSL под" и "писать ETL платформу на"
источник