N
😂
Size: a a a
2019 July 01
A
Но у меня они сейчас нераспределенные, 1 приложение - 1 контейнер
PA
Шикарно))
А как вы на 3.0 обновлялись?
А как вы на 3.0 обновлялись?
A
Подняли для тестов отдельно 6ю клоудера, потом переименовали в прод.
Основной прод будет на 3.2 с амбари, сейчас отдельно разворачивается новый кластер и в Q3 будет миграция. Потом туда же я свой небольшой кластер перенесу нагрузку
Основной прод будет на 3.2 с амбари, сейчас отдельно разворачивается новый кластер и в Q3 будет миграция. Потом туда же я свой небольшой кластер перенесу нагрузку
PA
А что делать если сотни тачек 😭
A
2 сотни тачек :) и миграция будет не просто между кластерами, а с Hong Kong в Singapore :)
PA
Воу-воу
Космос
Космос
A
Плюс с клоудеры 5.8.3 на ambari и Hadoop 3.2
A
В общем это будет оооочень весело и уже отгребаем на проверках что все наши джобы и пайплайн работают
PA
А как кластера переливать? Данные
AZ
лучшие результаты все-равно с однопользовательскими кластерами,
maximizeResourceAllocation в EMR отличный примерPA
Дистцп?
A
Да, думаю что-то по дистцп пойдёт, что-то с кафки заливаться начнёт
A
У нас и сейчас в синг есть чуть меньший кластер с копией данных
A
Конечно не все в данный момент, но кафка из hkg в sing реплицируется
A
То есть в этом случае нагрузки и данные можно будет переносить последоватьно
A
Сразу джобы которые требуют только текущие данные, потом те которые требуют немного исторических, по мере миграции переедет всё
A
лучшие результаты все-равно с однопользовательскими кластерами,
maximizeResourceAllocation в EMR отличный примерЭто да, но не всегда это возможно
A
Там клоудера что-то показывала про скейлинг и шаред кластер между разными депертаментами чтобы друг другу не мешали. Может что-то у них и получится
AZ
ну как вариант для онпрема/бареметала - отдельный сторадж кластер или апплайнс и компьют ферма для кластеров по запросу