K
сделал show на df и запустил job локально
Тогда попробуй слить стрим куда
Size: a a a
2019 September 16
K
И посмотреть работает ли локально
K
сделал show на df и запустил job локально
Даже не так , запусти стрим и какую нибудь простую функцию над кейсклассом
K
И слей локально
RI
Тогда попробуй слить стрим куда
Стрим как раз работает. Из него есть логгирование, по которому видно, что пришли данные и он запустил расчет.
K
Стрим как раз работает. Из него есть логгирование, по которому видно, что пришли данные и он запустил расчет.
Ну я бы все таки как то удостоверился , что данные не зануленные там в стриме,но не show, вообще терь больше конкретики нужно столы вам помочь
RI
java.lang.NullPointerExceptionval someData =
at org.apache.spark.sql.Dataset.join(Dataset.scala:912)
at ru.model.HelperFunctions$.generateRow(HelperFunctions.scala:257)`` ошибка выглядит так, а код
table
.join(varsTab, Seq("col1", "col2", "col3"), "left_semi") // 257 line
.filter($"col4" <= dateSubtracted)```
K
java.lang.NullPointerExceptionval someData =
at org.apache.spark.sql.Dataset.join(Dataset.scala:912)
at ru.model.HelperFunctions$.generateRow(HelperFunctions.scala:257)`` ошибка выглядит так, а код
table
.join(varsTab, Seq("col1", "col2", "col3"), "left_semi") // 257 line
.filter($"col4" <= dateSubtracted)```
А попробовать все таки операции над датасетом получилось и сохранить куда то результат операции ?
RI
А попробовать все таки операции над датасетом получилось и сохранить куда то результат операции ?
В этом месте при попытке show тоже npe
K
В этом месте при попытке show тоже npe
Потому что форсируются вычисления всего батча
RI
Потому что форсируются вычисления всего батча
как проверить, если попытка вычисления вызывает npe ?
K
как проверить, если попытка вычисления вызывает npe ?
Ну я рассказал как
K
Попробоватьчто нибудь сделать с датасетом вместо Джоина и сохранить результат операции
RI
Ну я рассказал как
сделать промежуточное сохрание в паркет?
K
сделать промежуточное сохрание в паркет?
Да
UD
Привет, у меня смешной вопрос. Есть какие-нибудь альтернативы hue ? Непонятно в какую сторону он развивается, система сборки просто огонь
K
Привет, у меня смешной вопрос. Есть какие-нибудь альтернативы hue ? Непонятно в какую сторону он развивается, система сборки просто огонь
Суперсет
ME
Пользуетесь уже? Как оно?
VE
А разве юпитер/зеппелин не может считаться заменой Hue?