за то что они смотрят в экран и кнопки нажимают конечно же (шутка)

а сравнивал кто https://github.com/apache/incubator-pinot с structured стримингом спарка?

Это тёплое с мягким

Pinot
Druid
Clickhouse

Нужно сравнивать

Интересно

Уже!)

https://m.habr.com/ru/company/oleg-bunin/blog/351308/

почему теплое с мягким?

Давайте ссылки на оригиналы :) там в блоге целая серия была

у пинота просто заявлена поддержка кафки

О классная статья читал ее когда к интервью готовился жаль что 2018 года

Структурный стриминг это одно, именно стриминг

Olap с быстрым ответом это другое

Вы прочитали о том что пинот может сам всасывать данные без необходимости отдельного джоба по подготовке данных

неа, не прочитал

поясните пожалуйста про без отдельного джоба

Подготовка кубика очень часто отдельная джоба которая делает прагрегацию и вставку

Для примера у вас есть кликхаус и спрарк джоба которая читает кафку и вставляет данные в клик

Друид и пинот могут сами цепляться на кафку и вычитывать из неё данные
Что позволяет им оказаться в системе в секундный интервал

В случае всяких mssql (ssis) и тд это препросчитанные данные, если говорим про molap

Или в случае какой вертики и терадаты snowflake схема и rolap, но вопросы что нужно делать джойны на больших объемах, что не позволяет в 1 секунду на запрос уложиться

В случае всяких пинотов/друид/клик данные храняться лишь в частично агрегированном виде, но за счёт архитектуры и структур данных могут считаться на лету и выдают время ниже 1с

Но нужно понимать что данные зачастую там тайм серии и обновлять сложно

Поэтому спарк стриминг и получатся тёплое с мягким :)

там спарк тоже может цеплять кафку

ладно, я сейчас внимательнее почитаю)

Спасибо