Size: a a a

Machine learning

2021 February 01

SS

Sergey Salnikov in Machine learning
я просто до этого бодался с svm - не взлетал, наверно потому что тяжеловесные rbf пробовал, а тут линейный свм - вжик - и 8е место
источник

K

K-S in Machine learning
угу. На текстах линейное ядро как раз обычно и заходит
источник

SS

Sergey Salnikov in Machine learning
Roman Majorant
о, а можно подробнее
есть статьи?
источник

RM

Roman Majorant in Machine learning
спасибо!
источник

AM

Aleksandr Markelov in Machine learning
Sergey Salnikov
я просто до этого бодался с svm - не взлетал, наверно потому что тяжеловесные rbf пробовал, а тут линейный свм - вжик - и 8е место
Достаточно просто в baseline организаторов заменить lr на svm, и уже 12 место )
источник

SS

Sergey Salnikov in Machine learning
ну да, ещё докинуть max_features до максимума, дальше тюнить токенизацию
источник

K

K-S in Machine learning
Sergey Salnikov
ну да, ещё докинуть max_features до максимума, дальше тюнить токенизацию
а какие-нибудь BiLSTM там хотя бы простенькие по ограничению пролазят?
источник

SS

Sergey Salnikov in Machine learning
у меня rnn в планах попробовать, но априори - без серъезной предобработки данных не взлетят. данных мало, поэтому стата не соберется. и сильно шумные данные, кур/куриный/куринный/куриная/куриные - нужно кластеризовать по синонимам. и главное - я пробовал tfidf с n-gram - они только ухудшили, значит там последовательность не играет роли, "суп куриный" и "куриный суп" - одно и тоже с точки зрения задачи, но разные с точки зрения rnn
источник

K

K-S in Machine learning
ну bidirectional в этом как раз частично, думаю, поможет
источник

SS

Sergey Salnikov in Machine learning
там народ пушками типа берта стрелял, говорят - не взлетело.
источник

K

K-S in Machine learning
Sergey Salnikov
там народ пушками типа берта стрелял, говорят - не взлетело.
Именно по качеству или просто по тех ограничениям берты не пролазили?
источник

SS

Sergey Salnikov in Machine learning
по качеству
источник

SS

Sergey Salnikov in Machine learning
часто слышал от бывалых, что простой tfidf дает сильную модель, а сетки - это на самом деле тюнинг в пятом знаке после запятой
источник

K

K-S in Machine learning
ну это перебор про пятый знак)
источник

SS

Sergey Salnikov in Machine learning
ну я условно
источник

SS

Sergey Salnikov in Machine learning
я на этом сореве открыл для себя интересный эффект - построил на pytorch аналог логрега - качество оказалось заметно лучше
источник

K

K-S in Machine learning
логрег с Адамом?) Или что такое аналог логрега?
источник

SS

Sergey Salnikov in Machine learning
sklearn LogisticRegression(solver=saga), PyTorch - на адаме
источник

SS

Sergey Salnikov in Machine learning
sklearn SGDClassifier (прямой аналог однослойной сетки) - вообще слабый
источник

SS

Sergey Salnikov in Machine learning
на pytorch просто однослойка с адамом и софтмаксом. двухслойка на торче тоже оказалась мощнее sklearn MLP
источник