Size: a a a

2020 January 10

GP

Grigory Pomadchin in Data Engineers
Jury Sergeev
так, а где оно увидеть?
Добавь в джарник ради эксперимента спарк-скуль добавить; заработает - норм; нет - ну значит баг
источник

GP

Grigory Pomadchin in Data Engineers
источник

UD

Uncel Duk in Data Engineers
Если emr они вроде запатчили там
источник

JS

Jury Sergeev in Data Engineers
Grigory Pomadchin
Добавь в джарник ради эксперимента спарк-скуль добавить; заработает - норм; нет - ну значит баг
ага, спасибо... все равно неясно, зачем оно пытается подключиться к машине-клиенту по его локальному имени, не получится же
источник

GP

Grigory Pomadchin in Data Engineers
Jury Sergeev
ага, спасибо... все равно неясно, зачем оно пытается подключиться к машине-клиенту по его локальному имени, не получится же
Это наверное твои днс/ конфиги надо смотреть; в конфигах там все по днс ссылается друг на друга?
источник

JS

Jury Sergeev in Data Engineers
Grigory Pomadchin
Это наверное твои днс/ конфиги надо смотреть; в конфигах там все по днс ссылается друг на друга?
мои локальные, видимо? я то пытаюсь работать с удаленным кластером, с виндо-машины, той сети неизвестной, но подключенной по vpn
источник

GP

Grigory Pomadchin in Data Engineers
Jury Sergeev
мои локальные, видимо? я то пытаюсь работать с удаленным кластером, с виндо-машины, той сети неизвестной, но подключенной по vpn
Везде; ну видишь у тебя ещё впн)
источник

JS

Jury Sergeev in Data Engineers
Grigory Pomadchin
Везде; ну видишь у тебя ещё впн)
спасибо, ужас ужасный получается )) будем рыть
источник

UD

Uncel Duk in Data Engineers
Днс правильно резолвит?
источник

UD

Uncel Duk in Data Engineers
Любимая фигня корпоратов, туннель с split-dns и кривой
источник

JS

Jury Sergeev in Data Engineers
Uncel Duk
Днс правильно резолвит?
да имя-то моего компа левое, я ж не в домене ни в каком, не можно его резолвить... я ж не сетевик, туплю чего-то, догадался только что коннект с той стороны через впн ну никак не получится
источник

UD

Uncel Duk in Data Engineers
Jury Sergeev
да имя-то моего компа левое, я ж не в домене ни в каком, не можно его резолвить... я ж не сетевик, туплю чего-то, догадался только что коннект с той стороны через впн ну никак не получится
Там два вида граблей, если хотелка спарк драйвер в клиенте у себя держать, и кривой резолв приватной зоны foo.bar.corp.com, если про нее корни ничего не знают
источник

JS

Jury Sergeev in Data Engineers
точно, драйвер то до спарка мой локальный используется, насколько я понял
источник

GP

Grigory Pomadchin in Data Engineers
Jury Sergeev
точно, драйвер то до спарка мой локальный используется, насколько я понял
Да, есл не кластер мод
источник

UD

Uncel Duk in Data Engineers
С локальным спарком есть опция, на каком адресе слушать, а какой отдавать воркерам
источник

UD

Uncel Duk in Data Engineers
spark.driver.bindAddress
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
Забить ногами туда айпишки
источник

JS

Jury Sergeev in Data Engineers
Uncel Duk
spark.driver.bindAddress
спасибо, буду копать в этом направлении... правда все весело, в случае VPN-а то
источник

UD

Uncel Duk in Data Engineers
У меня впн с натом посередине и кучей фаеров, работает ;)
источник