тебе уже 100500 раз нормально отвечали, но ты постоянно начинаешь петь песню про неправильный токенайзер и чтобы кто то его тебе переписал
значит берёшь колаб,
берёшь transformers,
берёшь модель от кефирьича,
пытаешься их сам завязать вместе
а там дальше посмотрим, русским же языком, сцук, объясняю что нужен токенайзер по формату tranformers и только, если и это не доходит давай дам ссылку на документацию от transformers