N
если у вас GCS+Dataflow+BQ то у вас очень современная аналитическая архитектура, но там нет кубера или S3))
Расшифруйте абревиатуры )
Size: a a a
2020 February 25
DZ
если у вас GCS+Dataflow+BQ то у вас очень современная аналитическая архитектура, но там нет кубера или S3))
Вместо датафлоу Спарк+кубер например
AZ
Nikolay
Расшифруйте абревиатуры )
google cloud store, google dataflow, bigquery
DM
не S3, а объектный сторадж в целом, ну и кубер нужно знать только каким-то опсам, пользователя кубер не должен волновать вообще
согласен, кубер в нынешнем виде должен умереть
N
Почему кубер должен умереть ?
DZ
согласен, кубер в нынешнем виде должен умереть
А что с ним не так?
N
Кубер выглядит как очень живеньким и конкурентов нет
AZ
Вместо датафлоу Спарк+кубер например
ну вы как архитектор хотите максимально спрятать кубер от пользователя, но смысл правильно уловили, должен быть серверлесс/селфсервис АПИ для сабмита джобов, что-то на пути от датабрикс селфсервис к авс глу
DM
А что с ним не так?
вопрос что с ним так, что для пользователя что для сопровождающего
избыточная сложность со всех сторон
избыточная сложность со всех сторон
AZ
согласен, кубер в нынешнем виде должен умереть
я не говорил что он должен умереть, просто он должен быть гораздо менее user facing, сами идеологи кубера идут по этому пути, см всю идею и экосистему операторов
ME
ну вы как архитектор хотите максимально спрятать кубер от пользователя, но смысл правильно уловили, должен быть серверлесс/селфсервис АПИ для сабмита джобов, что-то на пути от датабрикс селфсервис к авс глу
ну у gcp уже можно dataproc задание засабминить в k8s :)
DZ
ну у gcp уже можно dataproc задание засабминить в k8s :)
Но зачем?
N
Ну под капотом останется кубер
ME
Но зачем?
ну чтобы не поднимать отдельный кластер, не платить, чтобы доутилизировать существующие мощности
N
А использования кубера станет проще. Хотя куда проще. Пиши файлы и аплай
DM
я не говорил что он должен умереть, просто он должен быть гораздо менее user facing, сами идеологи кубера идут по этому пути, см всю идею и экосистему операторов
я подбрасываю по дороге, но суть в том что сейчас взаимодействие с системой типа упрощающей жизнь все равно в костылях приходится облепливать
AZ
условно это как какие-нибудь cgroups или linux kernel namespace, они есть и прекрасно работают, но люди занимающиеся даже низким уровнем уже не так в них погружаются, спасибо container runtimes
N
Ну да. Докер все это скрывает успешно .
DZ
вопрос что с ним так, что для пользователя что для сопровождающего
избыточная сложность со всех сторон
избыточная сложность со всех сторон
Основания моя претензия это дефолтный шедулер, который для спарка не оч
AZ
ну чтобы не поднимать отдельный кластер, не платить, чтобы доутилизировать существующие мощности
в концепции будущего вы вообще не должны платить за недоутилизированные мощности, см EKS + Fargate