АЖ
Да может быть и его, и моим, ща все с DR решили носиться
Size: a a a
2021 December 03
AZ
Это делается через написание (а чаще покупки) специального промежуточного слоя, чтобы ваш hbase, spark и все остальные друзья писали через него, а этот промежуточный слой уже занимается репликацией сразу всего
t
хз, вряд ли, я в мухосранске, до нас только хайп дошёл
AZ
Я думаю вы усложняете себе задачу если хотите чтобы весь кластер и приложения на нем сразу магически куда-то реплицировались.
Попробуйте решать задачу не для всей платформы сразу, а для каких-то решений, по моему опыту это проще (и дешевле)
Попробуйте решать задачу не для всей платформы сразу, а для каких-то решений, по моему опыту это проще (и дешевле)
t
ок, спасибо большое
K
Не , не мой
AZ
Ясно, видимо правда какое-то поветрие случилось
Н
Подскажите, пожалуйста, допустим у меня есть spark streaming скрипты и я хочу их поместить в прод, какие средствами их можно шедулить?
у меня задача раздавать данные из hive через message bus (RMQ)
у меня задача раздавать данные из hive через message bus (RMQ)
k
можно и cron для этого, если ничего пока больше нет (airflow, luigi, etc)
если вы спарк запускаете в k8s - cronjob
если вы спарк запускаете в k8s - cronjob
Н
ну у меня етсь airflow, я подумал, что там streaming джобы, которые постоянно работают неправильно поднимать.
Вот изучаю NiFi, не уверен что подходящее решение
Вот изучаю NiFi, не уверен что подходящее решение
N
почему неправильно? мы вон поднимаем. @SparkApplicationMaster налабал давеча.
ЕГ
Нужна отдельная очередь и отдельный воркер, который её обрабатывает, чтоб не влиять на остальные процессы
Н
@nblagodarnyy у вас получается таска в airflow бесконечно работает?
ЕГ
Да, при падении ретрай тоже до бесконечности
ЕГ
Желательно наверно exponential_backoff юзать
ЕГ
Если уж прям совсем-совсем падает - надо разбираться, чё там происходит
NB
А смысл этого решения, чтобы иметь единый оркестратор ?
ЕГ
Чтоб смотреть на салатовые квадратики и радоваться)
ЕГ
Плюс получать алерты таким же способом, как и на батч задачи, и соответственно перезапуск
N
основной смысл-не вставать ночью по звонку дежурной смены и не поднимать руками сриминги, которые упали потому что в зукипере кх протухла сессия или еще какая-то мелочевка, которая лечится рестартом.