SS
ну да, я и сказал в начале - можно с, можно без l
Size: a a a
2021 January 21
SS
просто с практической точки зрения удобнее упрощать вычисления (оптимизация и все дела), поэтому и добавляют иногда в формулу mse 1/2, чтобы потом при взятии производной вылезшая двойка схлопнулась, и в формуле обновления весом не мешалась.
SD
Посмотрел работу LassoCV, на примере задачки прогноза проката великов.
LassoCV проводит кросвалидацию, подбирает альфу для регуляризации, исходя из минимума ошибки на конкретном разбиении и конкретной тестовой выборке, и coef_ параметры на этом же разбиение считает лучшими, считает решением.
Я правильно описываю что делает LassoCV?
Понимаю, что LassoCV лучше, чем просто самому один раз разбить выборку и сделать Lasso – можно совсем не угадать )
Но пахнет подгонкой под конкретное разбиение, при том мы ищем это хорошее разбиение когда бьем k раз и перебираем.
Поправьте меня если я в чем-то не прав?
Если прав, то как на практике, грех подгонки случается или нет?
LassoCV проводит кросвалидацию, подбирает альфу для регуляризации, исходя из минимума ошибки на конкретном разбиении и конкретной тестовой выборке, и coef_ параметры на этом же разбиение считает лучшими, считает решением.
Я правильно описываю что делает LassoCV?
Понимаю, что LassoCV лучше, чем просто самому один раз разбить выборку и сделать Lasso – можно совсем не угадать )
Но пахнет подгонкой под конкретное разбиение, при том мы ищем это хорошее разбиение когда бьем k раз и перебираем.
Поправьте меня если я в чем-то не прав?
Если прав, то как на практике, грех подгонки случается или нет?
K
Sergey Salnikov
просто с практической точки зрения удобнее упрощать вычисления (оптимизация и все дела), поэтому и добавляют иногда в формулу mse 1/2, чтобы потом при взятии производной вылезшая двойка схлопнулась, и в формуле обновления весом не мешалась.
как там, кстати, спектральные эмбеддинги? Не взлетело?
SS
не доварил, памяти жрет много, причем как-то странно, если указать n_jobs=4, то хочет 16G, указал n_jobs=1 - хочет 64G, можно было бы ембедить по частям, но что-то лень
Ю
Sergey Salnikov
не доварил, памяти жрет много, причем как-то странно, если указать n_jobs=4, то хочет 16G, указал n_jobs=1 - хочет 64G, можно было бы ембедить по частям, но что-то лень
Если не именно спектрал ембеддинг, то те же рапидс умеют в некоторые манифолды на GPU. Сегодня этот датасет раскладывал через UMAP. Занимает секунд 10, все влезает в память кернела
SS
скор улучшило?
SS
что за рапидс? gpu надо задейстоввать, да
Ю
Я еще модель не делал, да и сабмиты кончились
Ю
Sergey Salnikov
что за рапидс? gpu надо задейстоввать, да
Ю
Sergey Salnikov
что за рапидс? gpu надо задейстоввать, да
K
Если не именно спектрал ембеддинг, то те же рапидс умеют в некоторые манифолды на GPU. Сегодня этот датасет раскладывал через UMAP. Занимает секунд 10, все влезает в память кернела
Я UMAP эмбеддинги в начале пробовал — ничего. Правда, я его не тюнил, надо сказать
Ю
Я UMAP эмбеддинги в начале пробовал — ничего. Правда, я его не тюнил, надо сказать
Я "на глаз" потюнил, чтоб хоть какие-то явные кластеры получились и так оставил
SS
там 1е место вообще в отрыв ушел
K
возможно, понял, как данные были сгенерированы
2021 January 22
AO
помните мы матрицы когда учили, нам рассказывали что есть такая тема как избыточность информации или как-то так
когда у тебя в данных одна и та же инфа по разному записана и есть даже какой-то прием работы с матрицей чтобы вычислить факт наличия такой избыточности
как это нормально называется? забыл
когда у тебя в данных одна и та же инфа по разному записана и есть даже какой-то прием работы с матрицей чтобы вычислить факт наличия такой избыточности
как это нормально называется? забыл
A
коллинеарность?
A
помните мы матрицы когда учили, нам рассказывали что есть такая тема как избыточность информации или как-то так
когда у тебя в данных одна и та же инфа по разному записана и есть даже какой-то прием работы с матрицей чтобы вычислить факт наличия такой избыточности
как это нормально называется? забыл
когда у тебя в данных одна и та же инфа по разному записана и есть даже какой-то прием работы с матрицей чтобы вычислить факт наличия такой избыточности
как это нормально называется? забыл
Линейная зависимость. rang матрицы используйте.
AO
точно
i
Звучит странно