SK
Pyspark и нативная скала
Size: a a a
2021 January 11
ВК
Есть обе версии
два вопроса есть:
1. Два запуска одного и того же кода вернут один и тот же результат?
2. Есть ранняя остановка на основе валидационного датасета?
1. Два запуска одного и того же кода вернут один и тот же результат?
2. Есть ранняя остановка на основе валидационного датасета?
SK
Так как там CPU версия, то должны быть одинаковые, если процессоры и OS версии одинаковые на всем кластере (ну то есть нет такого, что часть sse4.2 only а остальные машины avx512)
ВК
Андрей опубликует версию катбуста на спарке 0.25rc2 с кучей фиксов прям вот-вот
а вот-вот это какой период? :) я думал пару часов... :)
SK
а вот-вот это какой период? :) я думал пару часов... :)
пару дней
2021 January 12
ES
Добрый день.
У меня наконец то заработала мультикласификация с текстовыми метками.
В model.predict(llist) подбирает класс каждому элементу списка. А как узнать вероятность подобранных классов?
У меня наконец то заработала мультикласификация с текстовыми метками.
В model.predict(llist) подбирает класс каждому элементу списка. А как узнать вероятность подобранных классов?
SK
попробуйте
predict_probaES
Спасибо за оперативный ответ
там в
там в
predict_proba на выходе матрица со всеми вероятностями но как узнать какая колонка какому классу соответствует?ES
Понимаю, что могу запустить сначала predict, затем
predict_probaES
predict получу класс,max(
predict_proba ) даст вероятностьES
Есть ли более красивое решение чтобы не запускать predic 2 раза?
ДК
В predict_proba вероятности для классов перечисляются согласно последовательности your_model.classes_
ES
Спасибо) Только подскажите как узнать эту последовательность your_model.classes.
3
Спасибо) Только подскажите как узнать эту последовательность your_model.classes.
<model>.classes_
ES
Спасибо огромное за помощь) Нашел названия колонок-классов!)
L
Чтоб уже обученную модель можно было доучивать в онлайне в продакшне
А примерно когда появится такая возможность? И как будет работать функция «доучить»? Значит ли это что можно будет обучить модель разбив большую базу на равные и не большие куски train/test dataset, если серверное оборудование не справляется с большим объемом данных? Мультикласс интересует очень🙂
L
Кто нибудь работал с очень большой базой train ~ 400gb только с числовыми фичами? Какой у вас был расход памяти? Тренировали на cpu/gpu? Какие характеристики сервера для такого обучения использовали?
d
TB
Кто нибудь работал с очень большой базой train ~ 400gb только с числовыми фичами? Какой у вас был расход памяти? Тренировали на cpu/gpu? Какие характеристики сервера для такого обучения использовали?
Только с числовыми не работали. Но на GPU точно не влезет ) Вообще попробуй на CPU с дообучением через init_model - пробдем не должно быть
L
Только с числовыми не работали. Но на GPU точно не влезет ) Вообще попробуй на CPU с дообучением через init_model - пробдем не должно быть
Спасибо за совет! Init model то что мне должно помочь, просто уточню, обучаю модель в первый раз на train/test датасете(которую может обработать мой сервер) со всеми классами, потом беру вторую базу train/test с такими же классами и фичами и на ней обучаю модель по второму разу и так далее пока не закончатся базы, и тогда я получу равноценную модель если бы я разом обучал все на большой базе?