NN
Ну для стриминга вообще норм тема, да.
Я хочу потестить и у нас, но есть сомнения, что для жирных батчей будет лучше айсберга.
Я хочу потестить и у нас, но есть сомнения, что для жирных батчей будет лучше айсберга.
Size: a a a
2021 October 03
T
У меня юзкейс как раз стриминговые апдейты поверх исторических данных накладывать. + Там не то что бы бигдата так что худи должен хорошо справиться
NN
Ну самое то, короче.
Я даже думаю, что тебе и бриксовый рантайм нафиг не нужен, убер же делал худи как раз под похожую модель бизнеса, даже более требовательную к рилтайму, как мне кажется.
Я даже думаю, что тебе и бриксовый рантайм нафиг не нужен, убер же делал худи как раз под похожую модель бизнеса, даже более требовательную к рилтайму, как мне кажется.
T
Ну будь бы бриксовский рантайм можно было на Спарк стриминг писать прикрывшись им. А так прийдется флинк ковырять после отпуска
NN
Плохо, что ли?
T
Ну мне кажется конкретно для моей задачи Спарк стриминг подошёл бы лучше. Плюс уменя джоба которая готовит исторические данные на спарке. Мог бы часть кода переиспользовать, там очень красивый DSL получился
NN
Ну да, было бы элегантнее.
Блин, так редко слышу, что спарк стриминг лучше подходит, чем флинк)
Блин, так редко слышу, что спарк стриминг лучше подходит, чем флинк)
GP
Я ни разу не видел хорошего документированного кейса в природе с цифрами и примерами где одно лучше другого кстати и когда
NN
Ты про спарк стриминг и флинк конкретно?
Я тоже не видел, но я со стримингом и не сталкиваюсь на практике.
Зато постоянно вижу восхваление флинка и унижение спарк стриминга на словах.
Я тоже не видел, но я со стримингом и не сталкиваюсь на практике.
Зато постоянно вижу восхваление флинка и унижение спарк стриминга на словах.
GP
да конкретно спарк стриминг вс флинк, интересно почитать о сравнении на разных и схожих задачах
GP
сс @usualreptiloid может у тебя есть что?
T
Нее, у меня партия сказала Flink, комсомол ответил есть.
T
Ну вот для моей задача Спарк стриминг подошёл бы идеально, бери микро бачи да шлепай фул апдейты думаю там кода было бы строчек 5
GP
а у спарка ж есть континус ещё
T
Эх, ну зато с флинком поиграюсь, это большой плюс
ДА
с цифрами есть вот такое, но это 2018 год
https://arxiv.org/pdf/1802.08496.pdf
или вот от алибабы, но особо без цифр
https://www.alibabacloud.com/blog/why-did-alibaba-choose-apache-flink-anyway_595190
свежих обзоров после добавления continuous processing в спарке не видел(
https://arxiv.org/pdf/1802.08496.pdf
или вот от алибабы, но особо без цифр
https://www.alibabacloud.com/blog/why-did-alibaba-choose-apache-flink-anyway_595190
свежих обзоров после добавления continuous processing в спарке не видел(
GP
асаид алибабу это как датабрикосвые статьи): продают инхаус
GP
но спс; да с континусом ещё больше вопросов конечно
GP
GP
А поч кстате, из-за жавы?