Мне кажется там не в модели дело, а в фичах.... У меня на разных моделях скор одинаковый примерно.
ну в идеале почти всё то, что можно получить как фичи, модель должна достать сама. Кроме каких то знаний, которые есть у человека, но нет в датасете, например, то что матерное слове редактор врядли напишет. Всё остальное мы сами узнали из данных, впринципе идеальная (но, к сожалению, не реальная) RNN посимвольно (не пословно) должна уметь делать тоже самое...