Size: a a a

2019 September 10

ЕГ

Евгений Глотов in Data Engineers
С пробелом в пути hdfs будет потом очень весело
источник

ЕГ

Евгений Глотов in Data Engineers
Проще сделать отдельную колонку на этот таймстемп, преобразованный в дату
источник

EN

Eldar Nezametdinov in Data Engineers
Дата инженеры. Есть вопрос.
Хотел сделать hadoop webhdfs доступным по внешнему интерфейсу...
прописал dfs.namenode.http-bind-host=0.0.0.0
webhdfs стал доступен по внешнему, но... исчезли все ноутбуки в zeppelin после рестарта hdfs .....
как такое может вообще быть?) слава богу пока обкатывается кластер, важный инфы там мало было...
источник

AK

Andrey Kozlenkov in Data Engineers
возможно у тебя настроен цеппелин на хранение ноутбуков на hdfs
источник

EN

Eldar Nezametdinov in Data Engineers
ну да, он берет из hdfs, но я же не дропал. только обновил конфиг, забиндил webhdfs...
и все исчезло...  не понимаю..
источник

RI

Rustam Iksanov in Data Engineers
Есть вопрос по savemode(overwrite) с запись в hbase через spark-phoenix-connector. Суть в том, что процесс сохранения df  проходит без ошибок, но данные не оверрайдятся
источник

RI

Rustam Iksanov in Data Engineers
Rustam Iksanov
Есть вопрос по savemode(overwrite) с запись в hbase через spark-phoenix-connector. Суть в том, что процесс сохранения df  проходит без ошибок, но данные не оверрайдятся
Инженеры! Есть мысли, что не так. На других окружениях всегда переписывались строки с одинаковым ключом
источник
2019 September 11

В

Влад in Data Engineers
Господа, вопрос!!!!
Как пофиксить??

Работаю в кубере

Создаю мастера, создаю воркера
Воркер в логи пишет, что не может найти мастера

На дашборде нет ресурсов

В лс скину требуемые скрины

Очень нужна помощь
источник

РА

Рамиль Ахмадеев in Data Engineers
судя по всему тебе в другой чат 🙂
источник

DM

Daniel Matveev in Data Engineers
ну может @pomadchin проснется и поможет, он известный эксперт по скринам спарка в кубере
источник

GP

Grigory Pomadchin in Data Engineers
Рамиль Ахмадеев
судя по всему тебе в другой чат 🙂
вообще-то этот похоже
источник

РА

Рамиль Ахмадеев in Data Engineers
а так вообще похоже порт какой то закрыт…
источник

GP

Grigory Pomadchin in Data Engineers
Daniel Matveev
ну может @pomadchin проснется и поможет, он известный эксперт по скринам спарка в кубере
не; вообще не знаю; какдуто порты закрыты
источник

GP

Grigory Pomadchin in Data Engineers
Рамиль Ахмадеев
а так вообще похоже порт какой то закрыт…
вот да
источник

РА

Рамиль Ахмадеев in Data Engineers
или сеть…
источник

РА

Рамиль Ахмадеев in Data Engineers
но вообще был же вроде чат девопсов или даже по куберу отдельный
источник

GP

Grigory Pomadchin in Data Engineers
у меня такое ощущение, что @vladkarasyov год назад тоже самое спрашивал
источник

РА

Рамиль Ахмадеев in Data Engineers
там я думаю сходу и порты мастера назовут
источник

РА

Рамиль Ахмадеев in Data Engineers
я в целом к этому
источник

GP

Grigory Pomadchin in Data Engineers
Рамиль Ахмадеев
но вообще был же вроде чат девопсов или даже по куберу отдельный
они не спаркисты, там толку от них 0
источник