Сегодня общался с командой Minecraft, дважды. Сначала с командой data engineers, о том какое у них решение. В целом практически все крупные студии использую решения “операционной аналитики” (ну это я так называю), к ним относятся решения Splunk, ElasticSearch+Logstash. Это когда инструмент пожирает данные на входе практически в реальном времени, и мы можем их искать. Часто используют слово Spelunking (это значит лазить в пещере с фонариком), как раз Splunk произошёл от этого слова. (Хочу засунуть splunk в курс datalearn обязательно).
В общем, для аналитики вместо традиционного подхода с хранилищем данных или платформой данных/озером данных у многих студий используется решение от Azure (Azure Data Explorer) с похожим принципом как у Splunk.
Но их data science команда уже кайфует от Databricks, и они поделились крутой ссылку по
Best Practices для PySpark, которая была создана Palantir. На мой вопрос, хотели бы они, чтобы Databricks был и для Data Science и для Data Platfrom, все дружно закивали, значит, реально DataBricks это вещь💪
Еще оказалось, что аналитик Minecraft, раньше был в Amazon Game Studios, и часто бывал на мои ивентах Amazon Tableau User Groups и BI Tech Talks, за что очень благодарил😇