Вот все пишут "блиин, я думал нейронка в боте крутится". А вот если бы все-таки крутились - нужно было бы куда-то кешировать результаты, да? А не онлайн делать "предсказания-рекомендации", да?
Я вот вообще 0 в нейронках, если честно. Да и вообще в рекомендательных системах. Если там досточно долгие вычисления, кажется, что надо было бы в фоне время от времени обновлять ленту рекомендаций, чтобы не тормозило. Но тогда обучение займёт какое-то время, по сравнению с мгновенной реакцией.