Size: a a a

2021 March 09

SZ

Sergey Zhiganov in Data Engineers
Serg Slipushenko
тогда можно сказать что и разработка софта не такая страшная как кажется) а фронтэнд так вообще.... за что там только людям деньги платят)
за то что они смотрят в экран и кнопки нажимают конечно же (шутка)
источник

K

KrivdaTheTriewe in Data Engineers
а сравнивал кто https://github.com/apache/incubator-pinot с structured стримингом спарка?
источник

A

Alex in Data Engineers
Это тёплое с мягким
источник

A

Alex in Data Engineers
Pinot
Druid
Clickhouse

Нужно сравнивать
источник

С

Сюткин in Data Engineers
Pavel Klemenkov
Хотя можно пойти работать в Ozon, для сотрудников без поступления ))
Интересно
источник

АР

Андрей Романов... in Data Engineers
Alex
Pinot
Druid
Clickhouse

Нужно сравнивать
источник

A

Alex in Data Engineers
источник

K

KrivdaTheTriewe in Data Engineers
Alex
Pinot
Druid
Clickhouse

Нужно сравнивать
почему теплое с мягким?
источник

A

Alex in Data Engineers
Давайте ссылки на оригиналы :) там в блоге целая серия была
источник

K

KrivdaTheTriewe in Data Engineers
у пинота просто заявлена поддержка кафки
источник

T

T in Data Engineers
О классная статья читал ее когда к интервью готовился жаль что 2018 года
источник

A

Alex in Data Engineers
KrivdaTheTriewe
почему теплое с мягким?
Структурный стриминг это одно, именно стриминг

Olap с быстрым ответом это другое

Вы прочитали о том что пинот может сам всасывать данные без необходимости отдельного джоба по подготовке данных
источник

K

KrivdaTheTriewe in Data Engineers
Alex
Структурный стриминг это одно, именно стриминг

Olap с быстрым ответом это другое

Вы прочитали о том что пинот может сам всасывать данные без необходимости отдельного джоба по подготовке данных
неа, не прочитал
источник

K

KrivdaTheTriewe in Data Engineers
Alex
Структурный стриминг это одно, именно стриминг

Olap с быстрым ответом это другое

Вы прочитали о том что пинот может сам всасывать данные без необходимости отдельного джоба по подготовке данных
поясните пожалуйста про без отдельного джоба
источник

A

Alex in Data Engineers
Подготовка кубика очень часто отдельная джоба которая делает прагрегацию и вставку

Для примера у вас есть кликхаус и спрарк джоба которая читает кафку и вставляет данные в клик

Друид и пинот могут сами цепляться на кафку и вычитывать из неё данные
Что позволяет им оказаться в системе в секундный интервал
источник

A

Alex in Data Engineers
В случае всяких mssql (ssis) и тд это препросчитанные данные, если говорим про molap

Или в случае какой вертики и терадаты snowflake схема и rolap, но вопросы что нужно делать джойны на больших объемах, что не позволяет в 1 секунду на запрос уложиться

В случае всяких пинотов/друид/клик данные храняться лишь в частично агрегированном виде, но за счёт архитектуры и структур данных могут считаться на лету и выдают время ниже 1с

Но нужно понимать что данные зачастую там тайм серии и обновлять сложно
источник

A

Alex in Data Engineers
Поэтому спарк стриминг и получатся тёплое с мягким :)
источник

K

KrivdaTheTriewe in Data Engineers
Alex
Подготовка кубика очень часто отдельная джоба которая делает прагрегацию и вставку

Для примера у вас есть кликхаус и спрарк джоба которая читает кафку и вставляет данные в клик

Друид и пинот могут сами цепляться на кафку и вычитывать из неё данные
Что позволяет им оказаться в системе в секундный интервал
там спарк тоже может цеплять кафку
источник

K

KrivdaTheTriewe in Data Engineers
ладно, я сейчас внимательнее почитаю)
источник

K

KrivdaTheTriewe in Data Engineers
Спасибо
источник