а сикрет был выставлен?

?

Нет находит такого параметра в configuration cdh5. 13

как в этом случае быть уверенным что данные окажутся не ноде которую надо будет убрать?

или во время дексомиссии данные с этой ноды перераспределятся по оставшимся?

процесс декомиссии ноды вычисляет какие блоки с этой ноды надо будет перенести на другие и переносит

@pomadchin после установки ноды на декомиссию проходят шаги:

1) нода переводится в read only
2) для всех блоков которые находятся только на той ноже делается копия где-то ещё

В принципе уже после этого шага можно выключать её, но в нормальной стратегии там ещё шаг

3) для всех блоков которые есть на той ноде делается плюс одна копия ещё где-то (то есть временно при расчёте реплика фактора копии на той ноде не считаются)

После этого нода выключается, реплики на ней становятся недоступны, но за счёт избыточности на шаге 3 ты как проставил "хочу иметь 2 реплики" , то и после выключения получишь этих же 2 реплики

То есть после удаления ноды нету состояния: все пропало, востанавливаем уровень репликации, иначе ещё одна машинка упадёт и мы в.....

там были еще какие-то параметры вроде числа тредов для репликации..

декомишн скучно
можно просто вырубить же

Это уже тюнинг чтобы быстрее проходило :)

и да, еще один повод держать аккуратно назначенные стойки к узлам, и системно бороться с маленькими блоками

(если вам надо много декомиссовать - можно запускать декомиссию сразу для нескольких узлов из одной стойки, и чем меньше маленьких файлов - тем быстрее декомиссия)

наверное не меня ты меншонить хотел

Да, извиняюсь, хотел @goshailigoga

Ребят , было такое у кого , что в hdp 3.0.1 select запрос содержащий фильтр по стринг колонке (не из париции) подвисал после эксплейна и никуда на исполнение не отправлялся( нет ярн джобы)
А вот условно create temporary table as as select точно такой же отрабатывал ?