AB
в hdfs-site.xml ещё не смотрел
Size: a a a
2019 May 28
AB
AB
чтото подзавис,моежт проблема ещё в том что на компе и в hdfs разные пользователи? хотя я же делаю app не важно кто им будет пользоваться
РА
Друзья с портами вроде вчк норм, может быть добавить дополнительную ноду?
может просто поставить фактор репликации равный 1ому?
VE
>could only be written to 0 of the 1 minReplication nodes
Проблема не в репликации, он именно не может записать инфу на датанод. То есть датанод недоступен для записи.
Проблема не в репликации, он именно не может записать инфу на датанод. То есть датанод недоступен для записи.
VE
как и написано в сообщении, минимальная репликация установлена на 1
VE
что нормально
VE
я бы ещё раз посмотрел какие порты используются датанодом в конфигурации амбари, можетт быть там чтот отличное от 50010
AB
я бы ещё раз посмотрел какие порты используются датанодом в конфигурации амбари, можетт быть там чтот отличное от 50010
ок сейчас првоерю, неймнод 50070
VE
ещё думаю можно логгинг расширенный включить
AB
AB
conf.set("fs.defaultFS", pathToSegments); а здесь надо писать hdfs://sandbox-hdp.hortonworks.com:8020"
AB
или может путь к датаноде?
VE
а читать из дата нода можешь? Если моя теория верна, то будет подобная ошибка:
Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-2100153066-10.227.3.59-1496299310888:blk_1101300020_27605305 file=/hadoop_data/hive/sndbx/sndbx_dq/AGT_HSTY/ff_DAL_IN_EDW_AGT_HSTY_20181204_124949.txt
Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-2100153066-10.227.3.59-1496299310888:blk_1101300020_27605305 file=/hadoop_data/hive/sndbx/sndbx_dq/AGT_HSTY/ff_DAL_IN_EDW_AGT_HSTY_20181204_124949.txt
VE
Ааааа
VE
я вспомнил
VE
в чём может быть проблема
VE
у меня такое было на AWS. Нужно в хостс прописать замену хостнейма внутри докера
VE
на реальный айпи
AB
те место 127.0.0.1 localhost реальный localhist?