РА
Size: a a a
2019 June 18
РА
На время может получится.
там для distcp надо открывать порты между датанодами и неймнодами тоже, т.е. довольно много пропилов делать придется, в общем если есть сетевая шара то hdfs dfs get/put выглядят проще, distcp должен оказаться быстрее
S
Коллеги, кто-то когда-то мигрировал Hive вместе с данными с одного кластера на другой? Какие best practices/pitfalls?
суровый вариант для ребят без стриминга - перекинуть таски инжеста и запустить с нуля 😂 и все само наполнится
A
И тут подходим к вопросу: а кто как вообще в версионность данных в хранилище играет?
N
суровый вариант для ребят без стриминга - перекинуть таски инжеста и запустить с нуля 😂 и все само наполнится
Ну схему то надо накатить как-то. И перепилить весь инжест, который только инкремент забирает (который не параметризован). И потом перепилить обратно.
S
Ну схему то надо накатить как-то. И перепилить весь инжест, который только инкремент забирает (который не параметризован). И потом перепилить обратно.
ну неплохо бы вообще держать схемы в гите для таких вещей ) и накат автоматизировать )
N
Схема в гите. Накат пока не электрифицировали. С учётом иб, наверное, и не получится.
K
ну неплохо бы вообще держать схемы в гите для таких вещей ) и накат автоматизировать )
Схему же глянуть можно
S
Схему же глянуть можно
да чо там смотреть ) в моем варианте - 1 кнопка - накатить )
S
Схема в гите. Накат пока не электрифицировали. С учётом иб, наверное, и не получится.
получится-получится
N
да чо там смотреть ) в моем варианте - 1 кнопка - накатить )
Jenkins?
S
Jenkins?
хуже, найфай
СХ
хуже, найфай
а почему он?
N
Во-первых, это красиво.
S
единый оркестратор тасок. пока их мало и они однотипны - все нормально.по шаблону создается, все параметры вынесены в гит
O
единый оркестратор тасок. пока их мало и они однотипны - все нормально.по шаблону создается, все параметры вынесены в гит
Как вы параметры вынесли из nifi в гит?
S
Как вы параметры вынесли из nifi в гит?
через лукапы
N
то тогда:
1) hdfs dfs get все что /apps/hive/warehouse (если не меняли рут хайва);
2) hdfs dfs put на новый кластер;
3) муваешь метастор, например как описано тут выглядит вполне разумно:
https://community.hortonworks.com/questions/4496/how-to-migrate-hive-data-over-to-new-cluster.html
но я на не безизвестном тебе проекте делал как указано тут:
https://community.hortonworks.com/articles/91312/how-to-migrate-hive-metastore-from-old-cluster-to.html
и все было кокакола 🙂
1) hdfs dfs get все что /apps/hive/warehouse (если не меняли рут хайва);
2) hdfs dfs put на новый кластер;
3) муваешь метастор, например как описано тут выглядит вполне разумно:
https://community.hortonworks.com/questions/4496/how-to-migrate-hive-data-over-to-new-cluster.html
но я на не безизвестном тебе проекте делал как указано тут:
https://community.hortonworks.com/articles/91312/how-to-migrate-hive-metastore-from-old-cluster-to.html
и все было кокакола 🙂
Жаль вот только, что права из ренжера не переедут.
S
Жаль вот только, что права из ренжера не переедут.
дамп - рестор )
РА
дамп - рестор )
+