IK
Сейчас планируем офлайн с ограниченной вместимостью + онлайн, но будем следить за изменениями в рекомендациях Оперштаба и внутренних регламентов, конечно
Size: a a a
2021 October 14
MK
Для онлайн участия надо регаться? Или просто ссылку на трансляцию запаблишите?
IK
регаться таки надо, да
MK
ок, спасибо
AZ
> DataOps uses technology to automate the design, deployment and management of data delivery with appropriate levels of governance,
Я примерно также понимаю, датаопс это про то как автоматизировать пайплайны чтобы их было удобно тестировать, катить в продашкн и мониторить. Трино или Спарк тут только движки, поэтому я и спросил.
Я примерно также понимаю, датаопс это про то как автоматизировать пайплайны чтобы их было удобно тестировать, катить в продашкн и мониторить. Трино или Спарк тут только движки, поэтому я и спросил.
IK
согласен, поэтому договорились со спикерами сделать меньше акцента на теорию и больше на то, как это применять на практике под реальные задачи и с чем столкнулись в процессе развертывания и использования
IK
просто сферично говорить о том, что такое тот же эйрфлоу, в конце 2021 года было бы немного грустно
IK
поэтому эвент будет в большей степени про опс, чем именно про дата инжиниринг, хотя на стыке, конечно
PA
Так. Есть дело.
Есть около 1терабайта хмл. Всё в сторадже. Хотят все это дело запроцессать в паркеты по дню.
На входе сторадж с охулиардом хмл на выход хотят паркеты. Это клауд ажуровский. Там они активно юзают датафэктори но говорят что он медленно это жуёт
Есть около 1терабайта хмл. Всё в сторадже. Хотят все это дело запроцессать в паркеты по дню.
На входе сторадж с охулиардом хмл на выход хотят паркеты. Это клауд ажуровский. Там они активно юзают датафэктори но говорят что он медленно это жуёт
PA
Можно попробовать спарком через синапс
AZ
Говорить можно про что угодно, я спросил только из-за того что вы анонсировали событие по датаопс
IK
Понимаю, поэтому пояснил, какой в это смысл закладывался
D
имхо синапс дорого будет, hdinsight/spark дешевле будет, датабрикс чуть дороже но поднять проще
PA
Ну мне шото рассказывают что датабрикс крайне долго.
Пока не видел как готовят. Но готовят на пайспарке
Пока не видел как готовят. Но готовят на пайспарке
D
у датабрикса спарк переписан на c++, плюс оптимизации с кешами. сомневаюсь я что если речь о спарке то где-то быстрее выйдет.
PA
Прощу прощения не датабрикс а дата фэктори
Р
Как изучить программирование за час?
TT
Когда на марсе яблони зацветут?
AZ
Посмотреть первый час фильма Хакеры 1995 года (реж. Йен Софтли)
Р
Когда появится жизнеспособный сорт и удобрения защищающие от радиации