ME
Заказчик хотел на бриксы) но мы выкатили решение в 3 раза дешевле. Хехехе)
А датабрикс и aws glue не сравнивали?
Size: a a a
2020 February 25
АЖ
отвечая на изначальный вопрос: если вы дата инженер и работаете с Сергеем - штудируйте кубер как следует, если со мной - потратьте это время чтобы лучше изучить спарк и бим/датафлоу
как хорошо, что я работаю с собой!
N
отвечая на изначальный вопрос: если вы дата инженер и работаете с Сергеем - штудируйте кубер как следует, если со мной - потратьте это время чтобы лучше изучить спарк и бим/датафлоу
А вы где работаете ?
AZ
Nikolay
А вы где работаете ?
имелось в виду "в том же углу отрасли что и я"
O
Коллеги а у есть кого нибудь примеры SLA требований к ETL системам?
A
Etl разные же бывают
У нас мониторинг на появление данных в таблицах от 15 минут до суток стоит
У нас мониторинг на появление данных в таблицах от 15 минут до суток стоит
N
Коллеги а у есть кого нибудь примеры SLA требований к ETL системам?
В одном зеленом пакмане помню требовали, чтобы в пятницу данные подвезли к 12-00. Чтобы экономисты их успели обработать до 16-45 к понедельничному совещанию.
AZ
Коллеги а у есть кого нибудь примеры SLA требований к ETL системам?
разработка таких это само по себе проект, варьируется от "джобы не должны быть красными дольше суток" до сложных условий на доставку данных с требованиями на целостность целевых слоев/витрин
O
ну вот, вот как раз занимаюсь этим, подумал может кто-то из великих предложил свой общих требований чек лист
AZ
ну вот, вот как раз занимаюсь этим, подумал может кто-то из великих предложил свой общих требований чек лист
чек лист чего?
O
что должно делать или не делать etl решение
O
ну и нефункциональные требования тоже
AZ
ну и нефункциональные требования тоже
SLA это контракт между сервисом и пользователем, вы как-то очень широко заходите
AZ
советую нанять на такое профессионального человека или команду, а не спрашивать случайных людей в чате
АЖ
Обычно или у заказчика, или в соседнем кабинете есть специальные люди для этого.
Это серьёзные документы, по которым потом атата делают.
Это серьёзные документы, по которым потом атата делают.
AZ
Обычно или у заказчика, или в соседнем кабинете есть специальные люди для этого.
Это серьёзные документы, по которым потом атата делают.
Это серьёзные документы, по которым потом атата делают.
this
O
никто не говорит что то что ответят случайные люди будет использоваться как етсь
O
вопрос в том есть ли может где-то в литературе по ахитектуре примеры требований в том числе по уровню обслуживания к системам работы с данными
A
обычно зависит от требований бизнеса, насколько ему критичны простои и через сколько данные должны появиться
не девелоперы придумывают sla
не девелоперы придумывают sla
AZ
вопрос в том есть ли может где-то в литературе по ахитектуре примеры требований в том числе по уровню обслуживания к системам работы с данными
sre/sre workbook во многом сюда подходят