AS
Size: a a a
2020 March 26
λ
Какой метод должен использоваться что бы вывести результат класса в консоль ? Запускаю проект со spark-submit, в теле класса использовал и println() и Console.printf()
можно принтлн но наверно у спарка есть свой какойто логгинг
AD
Какой метод должен использоваться что бы вывести результат класса в консоль ? Запускаю проект со spark-submit, в теле класса использовал и println() и Console.printf()
Так а где ты логи смотришь?
AD
Там есть директории с логами тасок
TM
Так а где ты логи смотришь?
А где нужно ?
AD
А где нужно ?
Смотри куда Спарк ставил
AD
Там где то где лежит файлик Спарк субмита
AD
Рядом но не прямо там
TM
можно принтлн но наверно у спарка есть свой какойто логгинг
завершается выполнение приложения а в консоль кроме служебных сообщения ничего не выводится
AD
Путь не помню, но что то связанное с логами
TM
Там где то где лежит файлик Спарк субмита
Ок, в логах будет инфа успешно ли метод сработал ?
AD
Ок, в логах будет инфа успешно ли метод сработал ?
Там будет stdout/stderr
AD
Все ваши логбеки и проч
TM
Там будет stdout/stderr
Ок , спасибо сейчас погляжу
TM
Похоже логирование нужно вручную настроить
AD
Оно точно там есть
TM
Оно точно там есть
Это да , но видимо в конфигу log4j нужно залезать
AD
Костыль сохраняй логи в RDD и выводи
GP
Костыль сохраняй логи в RDD и выводи
так делать не надо
AD
Костыль = если долго по нормальномуно очень нужно