MB
тогда что-то странное
missing block в части UNDER_REPLICATED или CORRUPTED?
missing block в части UNDER_REPLICATED или CORRUPTED?
corrupted
Size: a a a
2020 March 23
MB
вернул ноду и потом прокачивал еще полдня :(
MB
в общем буду еще экспериментировать, т.к. есть ощущение что я недопонимаю ситуацию
A
если corrupted то это очень странно
A
как уже говорил: такое бывало только на временных файлах в момент записи, но никак не на обычных
(у меня почти всегда 2+ дисков в ноде)
(у меня почти всегда 2+ дисков в ноде)
MB
Просто я что тут подумал...
MB
может просто взять и все диски в страйп засунуть и не париться...
A
выпадение одного выводит целиком датаноду из строя, вместо одной точки монтирования
A
плюс непонятно как балансировать нагрузку датаноде
MB
а что с балансировкой не так?
MB
в случае страйпа как раз, по моему, вопрос балансировки решается автоматом
A
вообще hdfs не хранит реплики на одной ноде, именно поэтому на кластере из 1-2 машин с RF=3 можно увидеть under-replicated blocks всегда
для EC тоже доп политики пришлось вводить, чтобы блоки из одного chunk не оказались на одной ноде
поэтому на вашем месте я бы лучше разобрался что за файлы пропали и при каких условиях
для EC тоже доп политики пришлось вводить, чтобы блоки из одного chunk не оказались на одной ноде
поэтому на вашем месте я бы лучше разобрался что за файлы пропали и при каких условиях
MB
условие одно - хардкорный останов одной ноды
MB
имитация "ой, я упала"
AB
выпадение одного выводит целиком датаноду из строя, вместо одной точки монтирования
это настраивается
M
кстати, может кто-нибудь знает как симулировать обрыв сети в условиях EMR?
A
это настраивается
можно узнать как это с точки зрения стороннего процесса настраивается когда часть блоков читается часть не читается?
AB
вся точка монтирования пометиться как больная и не будет использоваться
AB
настраивается считать ли сбой точки монтирование отказом всей датаноды или нет
A
@ox62ash выше было про то чтобы не использовать точки монтирования, а использовать страйп, я поэтому и написал что выпадение одного диска в этом случае весь страйп/датанода отвалится =)