A
Хадуп третий есть, но запись не тестировал, так как железо отличается от того что на втором
Size: a a a
2019 June 17
UD
наброшу на вентилятор
UD
2019 June 18
PA
Всем привет!
Нужна помощь)
Почему может быть пустой результат мапа?
Если джоба не менялась 100 лет, а на хадупе были изменены только количество ресурсов под ярн (на некоторых тачках стало больше, на некоторых меньше)
Данные на месте
Нужна помощь)
Почему может быть пустой результат мапа?
Если джоба не менялась 100 лет, а на хадупе были изменены только количество ресурсов под ярн (на некоторых тачках стало больше, на некоторых меньше)
Данные на месте
OP
А с Data Толк запись ожидается когда нибудь в доступе ?
AN
А с Data Толк запись ожидается когда нибудь в доступе ?
обещали вроде. в основном там все пели дифирамбы Clickhouse
N
Там ничего не писалось.
N
Коллеги, кто-то когда-то мигрировал Hive вместе с данными с одного кластера на другой? Какие best practices/pitfalls?
N
Надо в продакшон внедриться по красоте
K
Я переносил данные, накатывал ты же схему что была и селектом конвертировал в нужный формат
K
Данные переносил дистцп
РА
distcp + hivemetastore если есть сетевая свзяанность между контурами
РА
если нет, а у вас скорее всего нет
K
Но у нас структура менялась
N
distcp + hivemetastore если есть сетевая свзяанность между контурами
Метастор - всмысле бэкапнуть постгрес и поднять бэкап на продакшоне?
РА
то тогда:
1) hdfs dfs get все что /apps/hive/warehouse (если не меняли рут хайва);
2) hdfs dfs put на новый кластер;
3) муваешь метастор, например как описано тут выглядит вполне разумно:
https://community.hortonworks.com/questions/4496/how-to-migrate-hive-data-over-to-new-cluster.html
но я на не безизвестном тебе проекте делал как указано тут:
https://community.hortonworks.com/articles/91312/how-to-migrate-hive-metastore-from-old-cluster-to.html
и все было кокакола 🙂
1) hdfs dfs get все что /apps/hive/warehouse (если не меняли рут хайва);
2) hdfs dfs put на новый кластер;
3) муваешь метастор, например как описано тут выглядит вполне разумно:
https://community.hortonworks.com/questions/4496/how-to-migrate-hive-data-over-to-new-cluster.html
но я на не безизвестном тебе проекте делал как указано тут:
https://community.hortonworks.com/articles/91312/how-to-migrate-hive-metastore-from-old-cluster-to.html
и все было кокакола 🙂
N
если нет, а у вас скорее всего нет
На время может получится.
РА
обращайся