Size: a a a

Machine learning

2021 February 01

Ю

Юрий in Machine learning
K-S
да там рассказывать нечего, честно говоря. Для стека мне было откровенно лень учить зоопарк моделей, как делали люди со 2-го итд места. Поэтому я натренировал один лгбм на 10 фолдах, а потом сблендил это уже с готовым пабликом. Было б нормальное соревнование, я бы так, конечно, не делал, но тут и тааак сойдет) А фишки у лгбм было 3: квантильная трансформация исходных признаков, линейные модели в листьях, две итерации псевдолейбла. В общем-то все
Псевдолейбл делил таргет на бины или просто добавляли предикт как фичу?
источник

K

K-S in Machine learning
неа, никаких бинов или какой-либо еще дискретизации. Я просто сделал честную локальную валидацию, увидел на ней значимый прирост. И начал уже тогда делать все это с тестом.
источник

K

K-S in Machine learning
Предикт - не как фича, а как новое наблюдение
источник

K

K-S in Machine learning
псевдолейбл для регрессии - это обычно очень сложно заводящийся зверь. Но тут зашел (видимо, из-за слабого сигнала) просто банальное добавление всего теста к трейну без какого-либо умного разделения на "уверенные/неуверенные" предикты
источник

K

Kirill in Machine learning
Всем салют! Есть ли какие-нибудь сетки вроде VGG16, но для классификации текста, а не картинок?
источник

K

Kirill in Machine learning
Я знаю что GPT-3 очень хорошая языковая модель, но можно ли её применить для этой задачи?
источник
2021 February 02

SS

Sergey Salnikov in Machine learning
а что за мода на кагле меряться oof-скорами?
источник

Ю

Юрий in Machine learning
K-S
Предикт - не как фича, а как новое наблюдение
Не понял(
источник

Ю

Юрий in Machine learning
K-S
да там рассказывать нечего, честно говоря. Для стека мне было откровенно лень учить зоопарк моделей, как делали люди со 2-го итд места. Поэтому я натренировал один лгбм на 10 фолдах, а потом сблендил это уже с готовым пабликом. Было б нормальное соревнование, я бы так, конечно, не делал, но тут и тааак сойдет) А фишки у лгбм было 3: квантильная трансформация исходных признаков, линейные модели в листьях, две итерации псевдолейбла. В общем-то все
И заодно, как параметры подбирали? Optuna или пальцем в небо? Или веселее что-то?
источник

K

K-S in Machine learning
Sergey Salnikov
а что за мода на кагле меряться oof-скорами?
это о чем?)
источник

K

K-S in Machine learning
Юрий
Не понял(
ну просто предикт для объекта из тестовой выборки мы объявляем таргетом. И добавляем этот объект в обучение
источник

SS

Sergey Salnikov in Machine learning
в дискуссиях народ приводит oof-скор и паблик-скор. зачастую только oof-скор, который > .7
источник

K

K-S in Machine learning
Юрий
И заодно, как параметры подбирали? Optuna или пальцем в небо? Или веселее что-то?
добрые индусы за нас все оптуны позапускали😂 я вообще гиперпараметры бустингов практически никогда никакими оптимайзерами не тюню
источник

Ю

Юрий in Machine learning
K-S
добрые индусы за нас все оптуны позапускали😂 я вообще гиперпараметры бустингов практически никогда никакими оптимайзерами не тюню
Тут вроде это решало?
источник

Ю

Юрий in Machine learning
Или вы к тому, что параметры копипастнуты?
источник

K

K-S in Machine learning
Юрий
Тут вроде это решало?
вроде да, но я особо не стал заморачиваться. Опять же, медалек нет, поэтому и мотивации особой не было
источник

K

K-S in Machine learning
Юрий
Или вы к тому, что параметры копипастнуты?
угу. Просто зашел, увидел какие-то неплохие и все
источник

SS

Sergey Salnikov in Machine learning
кстати, насколько натюненные гиперпараметры применимы к сабмиту? там же другой объем данных, параметры съезжают (например для бустингов надо большее количество итераций)
источник

Ю

Юрий in Machine learning
K-S
вроде да, но я особо не стал заморачиваться. Опять же, медалек нет, поэтому и мотивации особой не было
Да, кстати, странно, что медалек не дают, данные-то не открытые по типу Титаников
источник

K

K-S in Machine learning
так деревья по early_stopping подбирал
источник