DY
Size: a a a
2022 February 10
L
Привет всем, приятно познакомиться
L
🧐.
DB
Привет всем! Коллеги, а подскажите, плз, хорошие обучающие материалы по Spark Streaming с прицелом на Spark 3+
ЕГ
Там и дока-то толком не написана🤔
AS
А что-то поменялось в стриминге 3 версии?
ЕГ
Да по идее не должно было, разве что версия кафки, с которой пекыч по умолчанию собран
2022 February 11
N
Граждане, а как можно заставить спрак-стриминг скидывать агрегаты в синк ровно на границе часа? Ну то есть ровно в 16:00 скидывать каунт всех событий, пришедших строго с 15:00 до 16:00.
N
Триггеры как-то не оч позволяют так запускаться.
DZ
delta?
N
не понимать
DZ
Ну это известная проблема, что батчи могут заезжать за период партиции
DZ
Либо держать два стрима и умно писать
DZ
Либо всякие дельта движки
DZ
Когда нужен не landing time, а бизнесовый
DZ
Хотя даже в этом случае
I
Доброе утро) а как вызвать функцию в скала юдфa? ну я сохранил jar. Но как прописать путь к нему?
В скале есть addjar и можно без проблем джарник добавить.
Даже с этим примером не получилось с митапа(
как добавить функцию в classpath пайспарка?
В скале есть addjar и можно без проблем джарник добавить.
Даже с этим примером не получилось с митапа(
как добавить функцию в classpath пайспарка?
ММ
Параметр сессии spark.jars
I
почему то не получается, не добавляется в class path, но если submit c --jar то все получается
Нет ли еще какого способа это сделать? отлаживать через терминал не очень удобно
Нет ли еще какого способа это сделать? отлаживать через терминал не очень удобно
ММ
как передаешь