Метадата разная, поэтому датанода сразу сдохла

и как быть?

я бы очистил (вариант - переместил содержимое куда-нибудь) storage directory (если в HDFS  ничего важного нет) и попробовать стартануть DataNode

а как она стартуется?

что-то типа
/usr/local/hadoop/bin# hadoop datanode
P.S. это легко гуглится

короче при старте хадупа выдает следующие
Starting namenodes on [localhost]
localhost: starting namenode, logging to /root/hadoop-2.9.2/logs/hadoop-root-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /root/hadoop-2.9.2/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /root/hadoop-2.9.2/logs/hadoop-root-secondarynamenode-localhost.localdomain.out
mkdir: `/user': File exists
mkdir: `/user/root': File exists
starting yarn daemons
starting resourcemanager, logging to /root/hadoop-2.9.2/logs/yarn-root-resourcemanager-localhost.localdomain.out
localhost: starting nodemanager, logging to /root/hadoop-2.9.2/logs/yarn-root-nodemanager-localhost.localdomain.out
starting historyserver, logging to /root/hadoop-2.9.2/logs/mapred-root-historyserver-localhost.localdomain.out

он не может создать папку /user
соответственно дальше я работать не могу ведь туда все пишется

Да вроде пофигу ему не увидел ошибки в этих логах

Прав разве что писать туда нет

а вот есть кто в дружелюбном комьюнити с большими решениями на ажуре, как у вас метасторы структурированы? есть ли общие, держите HDInsight чтобы в него писать, датабрикс подключаете в режиме read-only?

Датабрикс послали в опу!
Нет общих метасторов, на каждый департамент или большую команду свой метастор
Hdinsight

Хдинсайт только для etl начального, потом всякие nosql

Поддержка от самих мелкософтовцев премиум

Стабильно раз в месяц - два месяца все нахрен валится , все становится недоступным

а data factory вы случайно не пользуетесь? как оно по метаданным дружится со всеми остальными компонентами?

а как наполняете эти метасторы? есть какое-то общее хранилище метаданных откуда потом наливаете?

А что с датабриксом не так, если не секрет?

Начинаются дешёвые наезды со стороны мелкософта типа вы сами долбаебы, а потом выясняется что индусы с мелкософта обосрались

Датабрикс дорогой и у них есть привычка ничего не доделывать, после них либо все выбрасывать и с нуля, либо 50 % переделки

Щас активно начали переезжать в Амазон
Приказ по роте нихера не делать с ажуркой, пусть колбасится как есть

а в амазоне на glue?