Size: a a a

2019 May 27

AB

Andrey Bel in Data Engineers
и 50010 и 50020 закрыты, буду исправлять,спасибо
источник

VE

Vladimir E. in Data Engineers
источник

VE

Vladimir E. in Data Engineers
источник

AB

Andrey Bel in Data Engineers
порты открыл,перегружу и проверю.
а 50075 и 50475 должны быть открыты?
источник

AB

Andrey Bel in Data Engineers
спасибо за доки
источник

VE

Vladimir E. in Data Engineers
Вроде нет, мне хватало 50010 и 50020 но это зависи от того какие АПИ используешь наверн
источник

VE

Vladimir E. in Data Engineers
но может открыть сразу чтоб было
источник

AB

Andrey Bel in Data Engineers
50075 открыт а 475 видимо для секьюрности
источник

AP

Alexander Piminov in Data Engineers
Ряд +400 портов нужно, если ты SSL включаешь на сервисах.
источник

AB

Andrey Bel in Data Engineers
50475 для сервисов с ssl правильно понял?
источник

AP

Alexander Piminov in Data Engineers
В HDP для нескольких сервисов используется по умолчанию правило, что включая SSL смещается номер порта на +400, не только DataNode.
источник

AB

Andrey Bel in Data Engineers
f gjyz
источник

AB

Andrey Bel in Data Engineers
понял,сп
источник
2019 May 28

AB

Andrey Bel in Data Engineers
Друзья с портами вроде вчк норм, может быть добавить дополнительную ноду?
источник

AB

Andrey Bel in Data Engineers
может кто подскажет- пытаюсь записать файл  с локальной машины(винда ) на HDP в докере через программу в idea  получаю ошибку Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /fromlocal/indicators_2018-01-01_2018-01-03_segments/20180101T000000.000Z_20180102T000000.000Z/2018-12-29T13_19_22.476Z/0_index.zip could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
источник

AB

Andrey Bel in Data Engineers
подскажите плиз куда копать?
источник

AB

Andrey Bel in Data Engineers
источник

E

Evgeny in Data Engineers
Andrey Bel
подскажите плиз куда копать?
Репликация сколько стоит?
источник

AB

Andrey Bel in Data Engineers
сейчас проверю
источник

AB

Andrey Bel in Data Engineers
hadoop dfs -setrep -w 2 -R /  этой командой устанавливаю значение 2
источник