dF
но пока не получается
Size: a a a
2021 March 26
L
Не исследовали данный вопрос. Если найдёте связь такую - обязательно расскажите. Но кажется, что влиять не должно
Напишу как тесты проведу) но это не скоро, через пару месяцев(свободных серверов нет), сейчас хочу в теории понять неопределенность 🙂
Для мультклассификации, если раньше я использовал onevsall в loss_function то сейчас OneVsAllWithUncertainty? И добавить posterior_sampling?
Для мультклассификации, если раньше я использовал onevsall в loss_function то сейчас OneVsAllWithUncertainty? И добавить posterior_sampling?
В
darya Fidlobabka
посоветуйте книгу по ML где прям целая глава уделена ансамблям
Бишоп или Фридман, там много было про ансамбли
dF
Бишоп или Фридман, там много было про ансамбли
как книги называются
В
Pattern Recognition and Machine Learning
The Elements of Statistical Learning
The Elements of Statistical Learning
dF
пасибо
2021 March 27
AP
Как запустить полностью аналогичную модель на GPU? Допустим на CPU есть модель
CatBoostClassifier(iterations=1000)
тогда на GPU кроме task_type нужно зафиксировать еще какие-то параметры. Какие?CatBoostClassifier(iterations=1000, task_type='GPU', ...???)К
Alex Popov
Как запустить полностью аналогичную модель на GPU? Допустим на CPU есть модель
CatBoostClassifier(iterations=1000)
тогда на GPU кроме task_type нужно зафиксировать еще какие-то параметры. Какие?CatBoostClassifier(iterations=1000, task_type='GPU', ...???)Нет, этого достаточно.
AP
Этого не достаточно, лосс на гпу процентов на 10 выше получается.
К
Alex Popov
Этого не достаточно, лосс на гпу процентов на 10 выше получается.
Ну... да. На ГПУ вычисления несколько случайны. Ты не знаешь, что с чем в каком порядке сложится
К
Одинаковый результат с cpu ты никогда не получишь.
К
Просто смирись с тем, что CPU и GPU – два разных кода. Параметры нужно подбирать заново.
К
Не, далеко искать вряд ли нужно, но все же.
AP
Отпишитесь кто понимает о чем я говорю, @DmitrySimakov, @kizill или кто-нибудь кто в курсе.
A
Alex Popov
Отпишитесь кто понимает о чем я говорю, @DmitrySimakov, @kizill или кто-нибудь кто в курсе.
Запустите на минимальных данных обучение на CPU, достаньте параметры через метод типа
Есть пара моментов:
1. Как уже говорили, на GPU даже результаты вычислений недетерминированы, требовать стабильности выше определенной бессмысленно.
2. Некоторые варианты параметров могут не быть реализованы для GPU, но основные обычно работают.
3. Для некоторых параметров Catboost выбирает разные дефолты на CPU и GPU, наверное, это сделано специально по каким-то соображениям.
get_all_params (название могу вспомнить неточно) у обученной модели, запустите на GPU с ними.Есть пара моментов:
1. Как уже говорили, на GPU даже результаты вычислений недетерминированы, требовать стабильности выше определенной бессмысленно.
2. Некоторые варианты параметров могут не быть реализованы для GPU, но основные обычно работают.
3. Для некоторых параметров Catboost выбирает разные дефолты на CPU и GPU, наверное, это сделано специально по каким-то соображениям.
A
(Мимокрокодил)
SS
я тоже помимокрокодюлю: на кагле часто трикают усреднением по сидам, получаются более стабильные результаты
W(
Alex Popov
Отпишитесь кто понимает о чем я говорю, @DmitrySimakov, @kizill или кто-нибудь кто в курсе.
Ещё ждём исправления https://github.com/catboost/catboost/issues/1408
2021 March 28
AB
Альтернативой TensorFlow не является, они решают разные задачи.
Спасибо
T
Альтернативой TensorFlow не является, они решают разные задачи.
Можете пожалуйста немного расписать какие задачи решает TensorFlow и какие CatBoost. Или может ссылки дать ??