E
ну, какие-то части этого есть. Логи рм\нн реально нужны раз в пол года; метрики хостов снимаются, задачки мониторятся через airflow
Size: a a a
2021 April 29
Р
А можно как то адрес другой указать?
GP
ну если ты знаешь адрес драйвера то просто укажи его
GP
если у него порты торчат и доступны тебе то залезешь
GP
иначе ну никак не узнаешь у тебя есть шелл
GP
наверное если ты прочитал жейсон и заколектил его и распечатал то все ок
Р
А как его узнать
GP
ну драйвера адрес будет та машина где ты шел запустил
GP
потому, что твой шелл будет драйвером
GP
драйвер это программа которая вычсиления строит и сабмити и получает сведения о результате
Р
То есть я удаленно на сервере со своего компа запускаю задачу, и мой Ip и будет Ip драйвера
GP
ну да тогда эт 127.0.0.1:4040
GP
но я вообще уже потерялся что-то в твоем вопросе
GP
у тебя шел, мне кажется там и без юай понятно выполнилось что или нет
t
Из-за чего может не всегда работать sc.requestExecutors()?
ярн свободный, метод возвращает тру, но воркеры аллоцируются далеко не всегда
ярн свободный, метод возвращает тру, но воркеры аллоцируются далеко не всегда
GP
оч сложно)))0 а что значит невсегда работает? в логах пишет что запросил?
мож долго просто или не знает зачем ему иногда
мож долго просто или не знает зачем ему иногда
t
я сам тыкаю этот метод и ожидаю новых воркеров. Но он отрабатывает на пустом кластере с переменным успехом. Если запустить шелл и в нем прожать этот метод, то работает почти всегда. А вот на стримовом приложении, даже когда нет бегущих тасков, чет не особо, с успехом 50%
t
логи еще не смотрел, но судя по коду этой функции врядли там чет интересное будет
t
там вообще в ней какая то магия происходит