Суть в чём:
hdfs://sandbox-hdp.hortonworks.com:8020" - это правильно

Там алгоритм такой:
1. Java client конектится к неймноде по 8020 и спрашивает куда записывать данные
2. Неймнода смотрит на свои ноды и даёт айпи одной из датанод куда писать (или хостнейм, зависит от настроек)
3. Java client принимает айпи (или хостнейм) и пытается записать данные. НО, так как у тебя это всё в докере, неймнода думает что айпи дата ноды это 127.0.01

понял, пробую испрвить

10.1.*.*  localhost sandbox-hdp.hortonworks.com sandbox-hdf

и в итоге клиент пытается законектится на локалхост, вместо того чтобы на сам сервис в ноде

Это настройка которая показывает что использует неймнода, айпишники или хостнеймы

ок спасибо,проверяю

Не помню уже какую магию там делал с хостсом, но это очень частая проблема с любой виртуалкой которая за НАТом или типа того

в общем надо просто удостовериться что неймнода/датанода видит саму себя точно так же как и её видит клиент. Может быть 127.0.0.1 и нормально, главное удостовериться что от клиента 127.0.0.1:50011 ведёт именно к сервису датаноды а не в пустоту

чтото ничего не понятно

Ребят, а можно пару комментов по друиду, стоит смотреть в его сторону или нет?

была хорошая статья от однокласников на хабре, зависит от задач, в большинстве случаев можно обойтись кликхаусом

Спасибо. Погуглю

всем привет!
вопрос такой - есть паркетная таблица:

create table db.table 
(...)
PARTITIONED BY(dt string)
BUCKETED BY (KEY) INTO 128 BUCKETS
SORTED BY (KEY)

делаю в нее:

df.insertInto("db.table")

Инзерт пролетает, но файлы внутри партиций неравномерного размера - от 100 до 300mb. Это так задумано, или где-то нужно форсировать repartition?

пустую строку спарк цсв же не может прочитать ?

единственное что нашел коммит 2х недельной давности https://github.com/apache/spark/commit/7a2d4895c75d4c232c377876b61c05a083eab3c8#diff-eb708fbebdf6d20d1ab1b109f5f2cd56

типа на 2.3 нельзя вообще никак в csv для спарка пустую строку передать?

create table db.table 
(...)
PARTITIONED BY(dt string)
BUCKETED BY (KEY) INTO 128 BUCKETS
SORTED BY (KEY)

df.insertInto("db.table")

репартишн можно сделать по ключу какому

Всем привет. Может сталкивался кто, хочу курлом записать создать директорию в HDFS. Но выдает ошибку

Server IPC version 9 cannot communicate with client version 470

Куда копать ?