AB
подскажите плиз куда копать?
Size: a a a
2019 May 27
AS
может кто подскажет- пытаюсь записать файл с локальной машины(винда ) на HDP в докере через программу в idea получаю ошибку Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /fromlocal/indicators_2018-01-01_2018-01-03_segments/20180101T000000.000Z_20180102T000000.000Z/2018-12-29T13_19_22.476Z/0_index.zip could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
Файл надо реплицировать, а некуда
AB
те надо добавить репликацию(дополнительные ноды??)
R
Если система на «поиграться», то репликейшн фактор можно выставить 1.
AS
Если система на «поиграться», то репликейшн фактор можно выставить 1.
но все равно надо доп. ноду
R
но все равно надо доп. ноду
Можно докер.
AB
система для разработки
VE
Порт 8022 открыт?
VE
Такая ошибка бывает когда клиент видит неймноду и хдфс на ней, но не может ничего записать так как пытается приконектиться уже к машине куда должен файл сохранять. Но машина у тебя одна как я понимаю, так что я бы просто порт проверил
AB
спасибо проверяю
AB
в открытых не нашел,сейчас пробую открыть
VE
Насколько я знаю недостаток репликации даёт только предупреждение, а не ошибку
VE
Здесь именно что блок данных не смогу записать
VE
Ох, по порту промахнулся
VE
Наверно 50010 нужен, не 8022
VE
И 50020
VE
У ХДП порты могут быть другие уже
AB
ок спасибо поправлю
AB
у нас хортон дистрибутив