1. Пиклем сериализуешь модельки в .pt файл и потом шарпом нативно его вгружаешь и используешь
2. Пишешь вокруг твоего на коленке говнокода на питоне апиху на лоу-левеле aiohttp для максимальной асинхронности, пихаешь в контейнер и используешь не больше чем эту модель с одной ручкой на апи