Size: a a a

2021 October 14

IK

Ivan Krovyakov in Data Engineers
Сейчас планируем офлайн с ограниченной вместимостью + онлайн, но будем следить за изменениями в рекомендациях Оперштаба и внутренних регламентов, конечно
источник

MK

Mikhail Kuznetsov in Data Engineers
Для  онлайн участия надо регаться? Или просто ссылку на трансляцию запаблишите?
источник

IK

Ivan Krovyakov in Data Engineers
регаться таки надо, да
источник

MK

Mikhail Kuznetsov in Data Engineers
ок, спасибо
источник

AZ

Anton Zadorozhniy in Data Engineers
> DataOps uses technology to automate the design, deployment and management of data delivery with appropriate levels of governance,

Я примерно также понимаю, датаопс это про то как автоматизировать пайплайны чтобы их было удобно тестировать, катить в продашкн и мониторить. Трино или Спарк тут только движки, поэтому я и спросил.
источник

IK

Ivan Krovyakov in Data Engineers
согласен, поэтому договорились со спикерами сделать меньше акцента на теорию и больше на то, как это применять на практике под реальные задачи и с чем столкнулись в процессе развертывания и использования
источник

IK

Ivan Krovyakov in Data Engineers
просто сферично говорить о том, что такое тот же эйрфлоу, в конце 2021 года было бы немного грустно
источник

IK

Ivan Krovyakov in Data Engineers
поэтому эвент будет в большей степени про опс, чем именно про дата инжиниринг, хотя на стыке, конечно
источник

PA

Panchenko Andrey in Data Engineers
Так. Есть дело.
Есть около 1терабайта хмл. Всё в сторадже. Хотят все это дело запроцессать в паркеты по дню.
На входе сторадж с охулиардом хмл на выход хотят паркеты. Это клауд ажуровский. Там они активно юзают датафэктори но говорят что он медленно это жуёт
источник

PA

Panchenko Andrey in Data Engineers
Можно попробовать спарком через синапс
источник

AZ

Anton Zadorozhniy in Data Engineers
Говорить можно про что угодно, я спросил только из-за того что вы анонсировали событие по датаопс
источник

IK

Ivan Krovyakov in Data Engineers
Понимаю, поэтому пояснил, какой в это смысл закладывался
источник

D

Dmitry in Data Engineers
имхо синапс дорого будет, hdinsight/spark дешевле будет,  датабрикс чуть дороже но поднять проще
источник

PA

Panchenko Andrey in Data Engineers
Ну мне шото рассказывают что датабрикс крайне долго.
Пока не видел как готовят. Но готовят на пайспарке
источник

D

Dmitry in Data Engineers
у датабрикса спарк переписан на c++, плюс оптимизации с кешами. сомневаюсь я что если речь о спарке то где-то быстрее выйдет.
источник

PA

Panchenko Andrey in Data Engineers
Прощу прощения не датабрикс а дата фэктори
источник

Р

Руслан in Data Engineers
Как изучить программирование за час?
источник

TT

Tsh Tsh in Data Engineers
Когда на марсе яблони зацветут?
источник

AZ

Anton Zadorozhniy in Data Engineers
Посмотреть первый час фильма Хакеры 1995 года (реж. Йен Софтли)
источник

Р

Руслан in Data Engineers
Когда появится жизнеспособный сорт и удобрения защищающие от радиации
источник