Сегодня просматривая новости из мира аналитики я заметил 2 очень противоречивых тренда. Сейчас я расскажу, hold my beer!
Во-первых, умные ребята из BI вендора Holistics, у которых очень трезвый взгдяд на вещи и продукты, доперли, что аналитика должна быть в виде кода, они даже заголовок придумали
Analytics-As-Code. Looker таким был с самого начала, ну да ладно.
Главная идея, что это решит проблему отслеживания изменений в BI, вот поменяли мы логику метрики, но об этом кроме нас, и может быть, кроме конфлуес/вики никто не узнает (и там это быстро устареет). А вот если у нас BI не приложение, а код, то можно сделать Code Commit, Code Review и даже Unit tests.
Таким образом мы создаем инженерную культуру, повышаем надежность решений. Как следствие для компании зарплата специалистов растет, поэтому это еще вопрос готовы ли мы к этому?
А теперь посмотрим, как дела у инжиниринга данных и пайплайнов. Здесь мы видим совершенно противоположную новсть -
The Data Integration Arms Race - Matillion's $150 Million Vs. Fivetran's $565 Million - в которой нам рассказывают про low code solutions. То есть Analytics-as-Application. Вплоть до того, что вам вообще не надо писать код, чтобы делать работу инженера данных. Но у вас возникает проблема, когда у вас больше одного инженера, когда ваши pipelines и SLA имеют важное значение для бизнеса.
Но тем неменее, мы видим как продуктовые компании одновременно рассказывают нам противоположные вещи, причем судя по раундам инвестиций - не безуспешно.
Так как же быть? Как обычно, ответ по середине. Вам как дата профессионалу нынешнему или будущему, надо понимать когда и что использовать, когда
low code, хорошо, а когда
as a code - must have. Если вы топите только за одно, значит вы доконца поняли другое. У всего есть pros & cons.
По опыту скажу, что для меня лучшее это начать с простого (applications) и двигаться в сторону более сложного (as a code).
