GP
можно попробовать в ярн клаент моуде запуститься, что-то мне кажется что драйвером будет твоя машина как и всегда а екзекуторы на ярне вращатсья будут
Size: a a a
2019 June 29
GP
только тебе нужен роутинг до всех нод
GP
и что-бы они совпадали со своими именами внутренней сети
ЕГ
Не, я не про это
ЕГ
Подключиться к уже запущенному, а не запускать новый
AN
Евгений, я правильно понимаю, что к спарку, запущенному в режиме локал, либо ярн подключаться вот так (master("spark://IP_OF_MY_REMOTE_SERVER:7077") нельзя. А если его запустить в standalone mode, то тада можно? Да?
AN
Григорий, спасибо за ответ! Увы, нифига не понял(( Что значит "твоя машина в этом случае станет драйвером"? моя машина и так в одной сетке. Более того спарк тоже на моей машине, но сидит в виртуалке (yarn mode)
GP
Евгений Глотов
Подключиться к уже запущенному, а не запускать новый
почему? ярн кластер поднят, легко подключиться к нему, тачка будет вне кластера а экзекуторы будут на ярне
GP
Artem Nazarenko
Григорий, спасибо за ответ! Увы, нифига не понял(( Что значит "твоя машина в этом случае станет драйвером"? моя машина и так в одной сетке. Более того спарк тоже на моей машине, но сидит в виртуалке (yarn mode)
и приложение и ярн на одной виртуалке?
ЕГ
почему? ярн кластер поднят, легко подключиться к нему, тачка будет вне кластера а экзекуторы будут на ярне
Я про подключение к поднятой сессии, так, как попытался сделать Артём, это работает только со стэндэлоун
ЕГ
Если сессия ярн запустилась, то к ней уже никак не подберёшься)
GP
а как будет приложение это запушенно?
GP
тестирование на локальной машине с поднятным клатсером на другой можно
на локалке поднимается драйвер и запускает ‘джобу’ на ярне
на локалке поднимается драйвер и запускает ‘джобу’ на ярне
GP
не нужен никакой спарк-сабмит в этом случае
GP
это не будет подключение к сессии это будет новая сессия
ЕГ
Вот это работает без проблем, когда на локальном у нас есть хадуп-сайт, ярн-сайт, хайв-сайт конфиги, скачанные из ноды кластера
GP
ну это уже вопрос конфигурации
GP
их тоже не надо качать и никуда прокидывать; достаточно в конфиг продублировать конфиги кластера
GP
можно и в рантайме
GP
т.е. это логика приложения (может ею быть)