Я туда блендеровским авторигом приделал скелет, он создал кучу вертекс групп, и потом я его удалил, возможно из-за этого?
Как вариант, чтобы проверить, снова возвращаемся к способу добавить через append. Если всё хорошо - значит дело не в группах. Если всё плохо - возможно, они причастны к тормозам