Ж
данные переносить не нужно, при рестарте с новой конфигурацией у вас данные отреплицируются на новую ноду
Данные nn, jn, zkfc, zookeeperи и resource manager?
Size: a a a
2019 August 12
AZ
в тройке вроде можно уже >1 standby namenodes
Ж
Установили до меня только два.
AZ
в вашей версии и нельзя больше
AZ
Жмака
Данные nn, jn, zkfc, zookeeperи и resource manager?
если вы делаете rolling migration (как я написал) то данные будут реплицироваться средствами самих сервисов
Ж
Нужно неймнод в сэйфмод запускать или остановить только через hadoop-daemon stop?
AZ
если у вас регулярные бэкапы fsimage - просто останавливайте
AZ
главное с новой конфигурацией запускайте сначала сервисы на старых нодах
Ж
Какие конфигурации необходимы? Файлы xml скопировать на новые серверы? А если склпировать всю папку hadoop?
AZ
вообще конфигурацию обычно делают как-то централизовано, просто накатить ее на новые ноды
Ж
вообще конфигурацию обычно делают как-то централизовано, просто накатить ее на новые ноды
Установка до меня была. Придется с тем что есть переносить( Получается что только новые хосты надо в конфигурации переписать? Потом на старом неймноде можно будет удалить папку nn, jn, zookeeper?
AZ
Жмака
Установка до меня была. Придется с тем что есть переносить( Получается что только новые хосты надо в конфигурации переписать? Потом на старом неймноде можно будет удалить папку nn, jn, zookeeper?
думаю вам стоит это переделать, такая работа с конфигурацией это не дело
AZ
вам нужно 4 версии конфигурации: 1 все старые мастера 2 два старых мастера и один новый 3 один старый мастер и два новых 4 все новые мастера
Ж
Не дадут. Время ограничено. Поэтому думаю как перенести неймноды так, чтобы было в нынешней конфигурации и датаноды остались на старом сервере
AZ
вы останавливаете сервисы на одном старом мастере, подкладываете следующую версю конфигурации (везде, не только на мастерах), рестартуете старые мастера и все воркеры, стартуете сервисы на новом мастере - и таких нужно три итерации
Ж
Понятно. А почему не стоит переносить все папки с одним измененнием конфигурации? То есть остановить все, изменить конфигурацию, перенести папку hadoopa и содержимое папок nn, jn, zk, когда сервис zookeeper уже преустановлен (его через пакетный менеджер установили) и запустить все?
AZ
переносить зукипер переносом директории это плохая практика, почитайте документацию
AZ
в принципе если у вас новый ноды имеют точно такие же версии, хостимена, сетевые адреса - можно попробовать все просто остановить, перетащить и запустить, но я бы не рисковал
Ж
Нет, это добавочные ноды. Идея перенести мастер нодымна новые серверы, потому что до этого их установили вместе с дата нодами.
AZ
судя по вопросам вы довольно плохо в этом всем разбираетесь, поэтому я бы сбэкапил и метаданные (fsimage) и сами данные куда-нибудь