A
Добрый день. Использует кто либо spark streaming / spark structured streaming?
Size: a a a
2021 June 03
АБ
Apache sqoop
АБ
Используют
A
Отстроили отдачу витрины с хадупа как есть всю в кафку
Сейчас встала необходимость сделать график по которому скорость отдачи будет меняться внутри суток
Возможно ли такое?
Сейчас встала необходимость сделать график по которому скорость отдачи будет меняться внутри суток
Возможно ли такое?
SB
понял, спасибо!
N
а что за отдача?
A
Таблица в хадупе сьримится в кафку. Требуется дозировать нагрузку на кафку
N
Хадуп - это файловая система и менеджер ресурсов. Что такое «таблица в хадупе»?
Как и чем она стримится?
Как и чем она стримится?
S
бедная кафка
NN
Никогда не сталкивался с таким паттерном использования Кафки. Зачем вы это делаете, в чем конечный смысл? Куда это все должно попасть?
OK
Ну, потенциально, у кафки есть механизм квот и можно управлять нагрузкой таким образом
AM
Backpressire может помочь
A
Попасть на систему подписчик. Вроде очевидно
A
Стримится спарком. Если не использовали spark streaming зачем откликнулись?)
A
Изучали, он не так работает как нужно
A
Можно конкретизировать? О чем речь. Термин широкопаспмостраненный поиск не помог
A
Поисковик на pressure поменял)) Backpressire ничего релевантного не находит
NN
Ничего очевидного. Вы делаете что-то странное, и нормально объяснить не можете, что и зачем. Что за табличка в хадупе? Она как наполняется? Зачем из нее что-то забирать в Кафку? Куда оно из Кафки идёт дальше?
A
На спарке производится сборка витрины, после чего поднимается стрим в кафку. На кафке подписчик в удобном ему режиме забирает данные
NN
И как часто табличка спарком собирается?