A
Size: a a a
2021 January 30
A
Да и вообще большинство кернелов что я знаю на других языках нативно протокол jupyter реализуют
A
Он достаточно простой
K
там есть кстати некотыре проблемы с скалой старой
K
2.11
K
Но с третьим спарком оно ушло )
A
Просто про протокол я знаю, так как делал jupyter gateway на java, так как питоновский egw не скейлится =/
AZ
А вы как делаете
накат через CD или через SDK (с регистрацией в сервисе метаданных)
K
накат через CD или через SDK (с регистрацией в сервисе метаданных)
прям написан скрипт на баше , который проверяет есть ли топик, если нет, то создает, или меняет количество партиций?
AZ
прям написан скрипт на баше , который проверяет есть ли топик, если нет, то создает, или меняет количество партиций?
почему на баше, такие скрипты на груви обычно пишутся, они и схемы регистрируют; а SDK уже на яве или скале, это просто часть клиента
A
накат через CD или через SDK (с регистрацией в сервисе метаданных)
Отдельный сервис который трекает конфиг и при появлении конфигурации в гите накатывает на серверах
K
почему на баше, такие скрипты на груви обычно пишутся, они и схемы регистрируют; а SDK уже на яве или скале, это просто часть клиента
выглядит хорошо, а у вас специально выделенный человек этим занимается, датаинженер или опс какой?
AZ
выглядит хорошо, а у вас специально выделенный человек этим занимается, датаинженер или опс какой?
я вижу это со стороны консалтинга, у клиентов обычно платформенная команда (которые я как раз консультировал), она отвечает за весь тулинг, в ней есть и опсы и обычные разработчики
AZ
иногда бывают вертикально интегрированные команды, но по моему опыту это скорее редкость (хотя другие люди могут считать иначе)
K
ну то есть это обычно чисто команда которая тулингом занимается?
AZ
тулингом, всякими побочными сервисами вроде аудита, опсом платформ
AZ
это две разные модели: горизонтальная, когда у вас есть инфра команда, платформенные команды, и команды приклада; вертикальная, где внутри сервиса есть и платформенные люди и приклад, а тулинг они через какие-нибудь трайбы делят между собой (но там всегда много велосипедизма)
A
Команды по тулингу могут быть разные
Для месаейджинга одна
Для хадуп другая и тд
В зависимости от размера компании
Для месаейджинга одна
Для хадуп другая и тд
В зависимости от размера компании
AZ
да, все так, платформенных команд много может быть
AZ
(еще может за МРР команда быть 😊)