У нас сейчас стартует что-то на примерно эту тему, но пока начинаем с унификации мониторинга моделек

Чтобы не у каждой команды свой велосипед, а единая точка для всех

не всегда работает это

ток если все делают одно и тож +-

kubeflow уже отвечает на вопросы "какие фичи в модель попали, кто заапрувил?"

))

Ну в нашем случае сатанисты готовят модельки, отдали файл, другая команда вокруг этого делает сервис. она же и за подготовку данных по фичам прежде чем модельку скормить.

Некоторые уже используют наш health который tfdv статистики генерит по выходным данным

Но вот как эти данные собираются пока каждый решает сам, задача предоставить клиент который будет хавать входные/выходные метрики и портал где можно указать какие статистики ты хочешь

Фичастор это куда меня закинули на днях, разобраться почему не очень у них все работает как хотелось бы, поэтому пока ничего не скажу :) может через пару месяцев, пока только код начал смотреть что построен вокруг feast

мы стандартизовались на прометее (ну и нашей базенке), туда можно кидать гистограмки для того чтобы дрифт считать

я могу про фист сказать, там даже не альфа, а альфа от альфы, и главный разработчик пошел в tecton деньги зарабатывать

мое мнение про фича сторы: так же как с датакаталогами и системами управления метаданных это область где гораздо проще и быстрее самим себе построить что-то, чем адоптировать чужое видение

Да, наши ещё сразу пытались бим на спарке запускать (сами гожеки в гугл клауде живут и на датафлоу гоняют), я их предупредил что дело гиблое, или флинк или переписывайте, но они 5 месяцев насиловали стюардесу прежде чем начать переписывать :)

Про переход уже знаю

Как и дроп бима и вместе с ним всей статистики

Хотя инжест вроде на спарк начали переделывать, но вот статистику даже не обсуждают

В общем будет весело, все как обычно у меня :)

кмк подход как у Feast или Tecton, когда всех кто наполняют feature store пытаются забрить в какой-то фиксированный фреймворк для запихивания пайплайнов - это утопия

прямое приглашение к shadow it

я тут в свободное от работы время пытаюсь сформулировать Bring Your Own Features подход, это когда мы разрешаем поставлять фичи любым способом, но берем на себя обязанности их тестировать, контролировать качество, и выставлять потребителям

Конкретно у нас его и так хватает, правда у каждого своё, проблема любой большой компании когда разные команды переизобретают колесо =/

my point exactly

DBT?