Size: a a a

2021 May 03

AZ

Anton Zadorozhniy in Data Engineers
хороший федеративный движок, c оптимизатором и статистикой, удобно деплоить в облаках под нужные группы клиентов
источник

T

T in Data Engineers
Привет, может кто нибудь не давно (ну или память хорошая) читал код спарковского бродкаста. Он же бродкастит только в пределах одго акшена?( Покрайнемере судя по UI очень похоже на то)
Кто нибудь пробовал сделать что бы он броткастил один раз и потом переиспользовал заброткащеный датафрейм?
источник

e

er@essbase.ru in Data Engineers
cache ?
источник

e

er@essbase.ru in Data Engineers
источник

T

T in Data Engineers
Все от туда и так здесь сидят
источник

Р

Ринат in Data Engineers
Проверил, с мастер все работает, но снаружи нет. Видимо что то не так с сетью докера, что может быть. Почему снаружи не работает?
источник

GP

Grigory Pomadchin in Data Engineers
ну потому, что ты вне сети кластера я думаю
источник

GP

Grigory Pomadchin in Data Engineers
и откуда у тебя докер вообще?
источник

Р

Ринат in Data Engineers
В каком смысле
источник

GP

Grigory Pomadchin in Data Engineers
в прямом
источник

GP

Grigory Pomadchin in Data Engineers
где ты изначально говорил что у тебя докер
источник

GP

Grigory Pomadchin in Data Engineers
где докер
источник

GP

Grigory Pomadchin in Data Engineers
на твоей машине
источник

GP

Grigory Pomadchin in Data Engineers
кластер в докере
источник

Р

Ринат in Data Engineers
Докер на удаленном сервере
источник

GP

Grigory Pomadchin in Data Engineers
что в докере
источник

Р

Ринат in Data Engineers
в докере спарк
источник

Р

Ринат in Data Engineers
На удаленном сервере запущен докер контейнеры со спарком и двумя воркерами
источник

GP

Grigory Pomadchin in Data Engineers
а на твоей машине что и при чем тут докер?
источник

GP

Grigory Pomadchin in Data Engineers
шелл работал в докере на другой машине или просто на машине другой?
источник