какого это было? какой фреймворк использовали?
мы столкнулись с пролемой что production ready сейчас только TF Mobile и он с этого года deprecated
TF Lite, который Гугол форсит работает на порядок(!) дольше, хоть квантизируй модель, хоть не квантизируй . SNPE, Mace не production ready показались
У нас в продакшене приложение работает на TF Mobile, мы делали его ещё до TF Lite. В целом они отличаются только тем, что в TF Lite вырезали ещё больше лишнего, поэтому бинарники легче.
SNPE сами не пробовали, но у нас в студии выступал чувак из Prisma, они используют SNPE. Он будет работать на 40% устройств и даст ускорение на видеокарте. И этим способом можно покрыть аппаратным ускорением наибольшее число устройств.
Ещё есть MLKit от Google, под капотом там тот же TF, но ускорение на видюхе будет только на Android 8.1+. Мы давно с этим экспериментировали, так и не удалось увидеть реальный девайс, на котором мы бы увидели ускорение.
Основная проблема нейронок на телефоне, что без видюхи модель не способна за вменяемое время обрабатывать фото или видео. Поэтому в Android приложении придется использовать одновременно несколько AI SDK и в зависимости от железа и версии ОС переключаться между ними. Половину устройств можно покрыть через SNPE + MLKit. Кажется у Mi есть ещё свой фреймворк, это тоже даст какой-то процент. А на остальных будет работать слишком медленно для продакшена, придется обрабатывать на сервере.
Надеюсь, ничего не напутал, давно занимались этими ресерчами )