OA
Size: a a a
2021 June 05
I
Эпоха это проход по всему набору данных. Но мы можем распилить набор данных на батчи (они же пакеты), и за один раз пропустить через модель один пакет. После пакета корректируем состояние модели. В итоге за одну эпоху модель увидет весь набор данных, но несколько раз скорректирует состояние. Это если я правильно понял про данные из элементы массива
A
Есть два сигнала(если что,это кривые ГИС,зависящие от глубины). Надо найти момент,когда у одного из них начнется резкий рост,а у другого резкий спад до минимума. Пример прилагаю.
Как можно отследить эти моменты и что применить?
Как можно отследить эти моменты и что применить?
D
Прогнать через калмана и смотреть за короткое скользящие окно где идёт рост?
A
Спасибо,попробую)
2021 June 06
OA
Товарищи, подскажите, пожалуйста:
1) при кластеризации как разумно поступить с категориальными переменными с большим(Скажем, 10) количеством вариантов? Если просто разбить на 10 новых признаков, то не будут ли они неоправданно большой вклад вносить (как в бустинге, например)?
2) Правильно понимаю, что при кластеризации необходимо нормировать все переменные? Что в таком случае делать с категориальными?
1) при кластеризации как разумно поступить с категориальными переменными с большим(Скажем, 10) количеством вариантов? Если просто разбить на 10 новых признаков, то не будут ли они неоправданно большой вклад вносить (как в бустинге, например)?
2) Правильно понимаю, что при кластеризации необходимо нормировать все переменные? Что в таком случае делать с категориальными?
ЕТ
IB
кто нибудь плотил ShapValues у CatBoost Classifier при Multiclass classification?
A
Народ, кто-нибудь пользовался API от OpenAI ? Зарегался у них с помощью гугл аккаунта, и он вчера даже пустил меня, дав настроить API на использование. А сегодня при заходе в личный кабинет он выдал "OpenAI's API is not available in your country.". Вот и не знаю как быть.
A
Откуда он вообще берёт инфу о моём местонахождении? Если по айпи, то почему сразу не забанил когда я вчера ломился с русского айпи? Или из гугл аккаунта?
DC
Там будет график влияния фич для каждого класса
OA
Товарищи, а насколько разумно проводить кластеризацию 500 объектов по 100 признакам?
Необходимо ли предварительно снизить размерность каким-нибудь PCA?
Необходимо ли предварительно снизить размерность каким-нибудь PCA?
SL
Предположим после PCA ушло 50% признаков, поменяется ли что-либо в вашем вопросе тогда?
OA
В целом, нет. Может, я неправильно сформулировал вопрос.
Я хотел бы узнать: плохо ли ведут себя алгоритмы кластеризации при большой размерности, нужно ли с этим бороться (как, например, нужно избавляться от разной размерности в кластеризации или от мультиколлинеарности в линейной регрессии)
Я хотел бы узнать: плохо ли ведут себя алгоритмы кластеризации при большой размерности, нужно ли с этим бороться (как, например, нужно избавляться от разной размерности в кластеризации или от мультиколлинеарности в линейной регрессии)
SL
Общий концепт: все обусловлено данными. чего-то плохого в общем смысле нет. Если данные у вас в принципе не образуют кластера, то понятно дело без каких-то предоборботок их получить не удасться (если вообще можно и т.д)
OA
Спасибо большое
SL
нз (не сказал, но вы должы понимать, что в каком-то смысле теряете информацию в замен на "упрощение". такова цена обработки; т.е. просто так фигачить, что попало - так себе тема без "подумать и проанализировать")
MC
вообще еще есть иерархическая (агломеративная) кластеризация -- если грубо, можно настраивать количество кластеров (типо, не доводить до 1, 2, 3, ... элементов в кластере, если считаешь, что это маленький кластер), не уверен ,что классно объяснил, но погугли)