Size: a a a

2019 April 30

GP

Grigory Pomadchin in Data Engineers
Влад
Господа. Объясните почему не работает.

Есть кластер кубера . Есть кластер спарка

Если отпралять ПИ в спарк-сабмит с мастером спарка и модом клиент, то возвращает ПИ

Если отправлять с мастером кубер и модом кластер, то поднимает под на ноде, выполняется. умирает

приходит сообщение(1)  

если зайти через юай в логи, то пишет "The selected container has not logged any messages yet."



Есть спарк джоба, которая выполняется на мастере спарка и моде клиент. (ее задача отправить сообщение на почту). Она отправляется

С мастером Кубера ничего не происходит


Нид э хэлп
а спарк 2.4?
источник

GP

Grigory Pomadchin in Data Engineers
запусти попробуй кластер моуде
источник

В

Влад in Data Engineers
2.4.1
источник

GP

Grigory Pomadchin in Data Engineers
может для клиент мода нужны какието настройки особые
источник

GP

Grigory Pomadchin in Data Engineers
кластер моуд более стабильный (всегда был)
источник

В

Влад in Data Engineers
Так вот скрин, это когда кластер иод и кубер мастер
источник

GP

Grigory Pomadchin in Data Engineers
Влад
Так вот скрин, это когда кластер иод и кубер мастер
я из твоих логов вижу что саксидед джоб
источник

В

Влад in Data Engineers
Да, но где посмотреть результат. ЛОги не работают

Я пошел дальше. Есть джоба, которая оправляет сообщение на почту. После этого ж есообщения о саксесе, ничего на почту не приходит.
А если зайти в логи через юай кубера,, то "The selected container has not logged any messages yet."


Такое чувство, что она создает контейнер, Не выполняет ничего. И просто завершается
источник

GP

Grigory Pomadchin in Data Engineers
Влад
Да, но где посмотреть результат. ЛОги не работают

Я пошел дальше. Есть джоба, которая оправляет сообщение на почту. После этого ж есообщения о саксесе, ничего на почту не приходит.
А если зайти в логи через юай кубера,, то "The selected container has not logged any messages yet."


Такое чувство, что она создает контейнер, Не выполняет ничего. И просто завершается
твой кубер киляет драйвер и трет логи
источник

GP

Grigory Pomadchin in Data Engineers
логи должны быть на драйвере
источник

GP

Grigory Pomadchin in Data Engineers
а; это ты писал мне по-моему да?)
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
ну ладно))
источник

В

Влад in Data Engineers
дА
источник

В

Влад in Data Engineers
До сих пор
источник

В

Влад in Data Engineers
не могу разобрать
источник

GP

Grigory Pomadchin in Data Engineers
у меня под рукой нет kubectl проверить помочь тебе))
источник

GP

Grigory Pomadchin in Data Engineers
кинь спарк сабмит команду которую шлешь
источник

GP

Grigory Pomadchin in Data Engineers
сюда
источник

В

Влад in Data Engineers
Слава БОгу что уже хотя бы с мастером спакр  и модом клиент
источник