Size: a a a

2021 June 15

AG

Arsen Gumin in Data Engineers
Спасибо за ответы!) а навык программирования на scala сильно даёт плюс тебе как специалисту? Слышу, что язык номер один для этой сферы, но для себя не сформировал понимания из данных в сети, пока что вижу, что все можно делать на python
источник

e

er@essbase.ru in Data Engineers
источник

e

er@essbase.ru in Data Engineers
Переслано от er@essbase.ru
источник

e

er@essbase.ru in Data Engineers
Спарк на питоне очень даже не плох . Даже гуру Скалы втихаря на нем проекты фигачат
источник

МК

Михаил Королев... in Data Engineers
в официальных курсах датабрикса есть такой вопрос и ответ ("стоит ли отказываться от питона в пользу скалы") и ответ - жирное НЕТ
источник

N

Nikita Blagodarnyy in Data Engineers
98% на петухоне лабается
источник

МК

Михаил Королев... in Data Engineers
от себя добавлю: питона для дата инженера достаточно, иногда (иногда) скала не помешает, но... иногда
источник

SS

Sergey Sheremeta in Data Engineers
спасибо!
а Altinity.Cloud / Clickhouse не считают конкурентом этим решениям?
источник

AG

Arsen Gumin in Data Engineers
Оу, ну это прям радует, спасибо, хотябы материалов для изучения теперь в разы меньше)
источник

e

er@essbase.ru in Data Engineers
Спарк только там где нужна java  со стороны религиозной политики, но пилоты все равно там делают на питоне
источник

AG

Arsen Gumin in Data Engineers
Вы упомянули курсы, советуете их ?
источник

e

er@essbase.ru in Data Engineers
Он не такой массовый.
источник

МК

Михаил Королев... in Data Engineers
курсы - нет (я попал случайно), за деньги - ни в коем случае
источник

МК

Михаил Королев... in Data Engineers
слишком поверхностно (я сам был в шоке, ибо хотел попасть на всякую там оптмизацию)
источник

AZ

Anton Zadorozhniy in Data Engineers
Его трудно бенчмарками TPC гонять, SQL плохо поддерживается (но они идут туда)
источник

e

er@essbase.ru in Data Engineers
И вот ещё хороша новость для облаков
источник

e

er@essbase.ru in Data Engineers
Google открыл инструментарий для полного гомоморфного шифрования https://opennet.ru/55331/
источник

AG

Arsen Gumin in Data Engineers
Видимо действительно в этом направление коммерческий опыт уникален, пойду пытаться в DE, спасибо), а ещё например у группы по скала есть вся важная инфа на гитхабе(обучения, комьюнити, полезные ссылки) в этом сообществе таковая имеется?
источник

AZ

Anton Zadorozhniy in Data Engineers
Бенчмарк скучноватый из-за single stream, в azure synapse самое интересно начинается после 10 concurrent users)
источник

МК

Михаил Королев... in Data Engineers
и, кстати, тест от датабрикса тоже не рекомендую. Я не проходил (пока), но в процессе обучения есть опросники - зная тему (а я точно знаю) я хронически не попадаю в галочки (так сформулированы вопросы), предполагаю, что при сдаче теста шанс "не попасть" для знающих тему. но не использующих лексикон датабрикса, достаточно велик
источник