В Джобсе вообще обсуждали уже это, можно там и продолжить

Всё что нахожу по дата теме, сюда выдаваю https://t.me/data_events

Всем привет. Может кто подскажет )) есть задача реализовать CEP. Предлагают воспользоваться Flink + Kafka.

Должно работать так. Данные с отдельных таблиц в БД через некий коннектор попадают в кафка-топики. Приложение их читает, джойнит, обогащает, в результате чего получается готовое событие по пользователю. Далее эти события записываются в локальное хранилище (state store). По каждому пользователю эти события добавляются/обновляются/удаляются - пока в итоге не будет получено целевое.

По целевым событиям необходимо выполнить определенную реакцию. Т.е. этот стор нужно опрашивать, и если по временным показателям нужно выполнить действие, то делаем.

Предполагается большой поток данных на входе, нужно горизонтально масштабироваться. То есть система должна работать в режиме кластера.

Вопрос: насколько предлагаемые технологии подходят под эту задачу?

М.б. какие-то нюансы есть при их использовании?

Или какие бест-практис решения можно взять под такую задачу?

Народ, что можно взять из дистрибутивов для обучения ?

ванилу например

если лайтово то клоудера

хортон вроде сейчас мало юзают - по крайней мере сложилось такое впечатление, к тому же они же смержились условно))

Она сейчас закрыта для скачивания 😢

о блин -  я чтото слышал про платные темы но не знал что так серьезно

поищи варики на докере -  недавно осенью видел кучу образов

А зачем вам И флинк И кафка, если это CEP (ESP)&

Задачка сугубо и исключительно на флинк. Вообще если стоит вопрос "что выбрать", то всегда ответ такой: если скорее потоковая обработка чем пакетная - флинк. Если скорей пакетная чем потоковая - спарк

EMR

А какую бизнес логику вы хотите делать, как часто она меняется, кто ее определяет?

Ох. Это облако. Да , наверное выберу его, раз нет ничего другого.

Есть ещё HDinsight и Dataproc

Но вы все правильно поняли

Ходят слухи, что один российский большой телеком пилит свой платный дистрибутив ходупа.

Обещали сбердуп, теперь вот будет теледуп.

Молодцы, так держать