я просто до этого бодался с svm - не взлетал, наверно потому что тяжеловесные rbf пробовал, а тут линейный свм - вжик - и 8е место

угу. На текстах линейное ядро как раз обычно и заходит

спасибо!

Достаточно просто в baseline организаторов заменить lr на svm, и уже 12 место )

ну да, ещё докинуть max_features до максимума, дальше тюнить токенизацию

а какие-нибудь BiLSTM там хотя бы простенькие по ограничению пролазят?

у меня rnn в планах попробовать, но априори - без серъезной предобработки данных не взлетят. данных мало, поэтому стата не соберется. и сильно шумные данные, кур/куриный/куринный/куриная/куриные - нужно кластеризовать по синонимам. и главное - я пробовал tfidf с n-gram - они только ухудшили, значит там последовательность не играет роли, "суп куриный" и "куриный суп" - одно и тоже с точки зрения задачи, но разные с точки зрения rnn

ну bidirectional в этом как раз частично, думаю, поможет

там народ пушками типа берта стрелял, говорят - не взлетело.

Именно по качеству или просто по тех ограничениям берты не пролазили?

по качеству

часто слышал от бывалых, что простой tfidf дает сильную модель, а сетки - это на самом деле тюнинг в пятом знаке после запятой

ну это перебор про пятый знак)

ну я условно

я на этом сореве открыл для себя интересный эффект - построил на pytorch аналог логрега - качество оказалось заметно лучше

логрег с Адамом?) Или что такое аналог логрега?

sklearn LogisticRegression(solver=saga), PyTorch - на адаме

sklearn SGDClassifier (прямой аналог однослойной сетки) - вообще слабый

на pytorch просто однослойка с адамом и софтмаксом. двухслойка на торче тоже оказалась мощнее sklearn MLP