А вы не хотите сделать бинарный формат модели, которая бы через mmap подключалась? Чтобы совсем никаких дополнительных объектов в памяти не создавалось, а evaluation проходил бы полностью по замапленной памяти? Вроде в случае списка неглубоких деревьев, как в catboots, как раз удобно и эффективно такую структуру замапить линейно в память. Один только минус — платформозависимый порядок байт, но как серверное решение очень пойдёт.