но там проблем вагон и маленькая тележка. Кластеризация? только в платной. Обратная совместимость? Не, не слышал

но есть крупные бизнесы, которые используют... Ну, там DINO SYSTEMS, НТВ медиа (или как их там)

уже нашел, читаю, не подойдет такое...

ну, да, есть такое. А в чем консерн - данные по сети не хоцца гонять?

ну типа да, идемпотентность позволяет, даже если упадет процесс, можно рестартануть, exactly once гарантии не нужны, ну и плодить кучу топиков еще пол беды (это я про кафку), там вроде нет? удобного апи для пострения фильтрации как у apche beam

Типа [Final Output PCollection] = [Initial Input PCollection].apply([First Transform])
.apply([Second Transform])
.apply([Third Transform])

ну тогда я вижу только варик на kafka streams струячить

ну вот как раз про кафка стримс (не работал с ними доселе) , там вроде нет такого удобного апи..

ну на крайняк тот flink

map.map.filter есть
стейты тоже есть

спасибо, почитаю про него

по апи близко к спарку, но со своими заморочками

как уже говорил: мы гоняли beam на flink, вроде всё более-менее

а на spring batch не удобное апи, нельзя так просто между степами передавать поток, нужно сохронять в контексте.. + есть ограничение на размер контекста...+.не оч удобно

потому что он вообще не про потки а про батчи

тут вроде еще были люди кто флинк гонял, может кто откликнется =)

спасибо всем за информацию

эм, что-то уж совсем мимо

да еще и не в рабочий чат

Всем привет!
Тут выше были вопросы про Arenadata - так вот, я из этой компании, готов ответить на все вопросы или перенаправить к тем кто ответит 😊
Вкратце, отвечаю на то что уже задавали:
1) Мы разрабатываем, внедряем и поддерживаем платформу хранения данных на базе Greenplum, Hadoop, Clickhouse и Kafka (как все сразу так и по отдельности)
2) У нас свой Cluster Manager (Ambari скоро будет deprecated), он деплоит, обновляет, мониторит и управляет всей платформой, в том числе нативно работает с API облаков - вот тут коротенькие видосы как это работает: https://www.youtube.com/playlist?list=PLThlRr26UjnNXUuEPlarGWJIp43xVZd4X
3) Мы коммитим в OS-проекты Greenplum (в основном), Hadoop и Kafka
4) Всё что мы делаем - Open source, бинарники можно скачать на сайте, исходники на https://github.com/arenadata
5) Дизайн сайта у нас и правда отстой, знаем)