берты + char cnn/rnn стекал катбустом с метафичами типа свд по тфидф, длин, каунтеров символов. на валидации огонь, на лб чуть лучше отдельных моделей. мб ошибся
Там метки какие-то совсем паленые были, например, тестовый сабмит показал, что примеры вида "раньше таких ..." надо классифицировать как угрозы, что противоречит здравому смыслу Ну и копировать метки с training на test на пересечении было очень плохо