Спасибо! Задача такая: мы делаем продукт на базе computer vision (нейросети). Есть 2 параллельных процесса - добавление новых обучающих данных и изменение параметров нейросети (эксперименты ML-инженера). Хотелось бы знать, какие существуют готовые решения для мониторинга метрик качества нейросети. И в целом, какой набор сервисов народ использует в продакшене для автоматизации процессов тренировки/деплоймента нейросетей
Мы (FunCorp, флагманский продукт - iFunny) всё делаем на A/B-тестах. Есть пользовательские метрики, мы раскатываем новую или дообученную модель на 10-15% DAU и смотрим, как меняются метрики по сравнению с остальными пользователями.