Телеграмм чат группы datasciencecourse страница 4798

2021 February 16

K

K-S in Machine learning

Ну и tSNE перед кластеризацией — это выбор не очень хороший

источник

19:02пожаловаться #1

V

Valery in Machine learning

Roman Majorant

Господа, такой вопрос

Я написал модель агломеративной кластеризации через TSNE и DBSCAN, данные никак не менялись, но после повторной компиляции модели, кластеризация произошла другим способом, нежели раньше, от чего это зависит?

если юзаешь дбскан, есть способ его круто бустануть

источник

19:04пожаловаться #2

V

Valery in Machine learning

https://arxiv.org/abs/1907.00378

источник

19:04пожаловаться #3

V

Valery in Machine learning

буквально одной фунцией)

источник

19:04пожаловаться #4

RM

Roman Majorant in Machine learning

K-S

Ну и tSNE перед кластеризацией — это выбор не очень хороший

хммм
а что лучше выбрать?

источник

19:07пожаловаться #5

RM

Roman Majorant in Machine learning

я как-то вычитал про tsne просто

источник

19:07пожаловаться #6

RM

Roman Majorant in Machine learning

Valery

буквально одной фунцией)

о, спасибо, почитаю

источник

19:07пожаловаться #7

K

K-S in Machine learning

Roman Majorant

хммм
а что лучше выбрать?

t-SNE в принципе неплохо отрабатывает, если ваши данные в исходном признаковом пространстве действительно разнесены друг от друга (как в каноничном примере с MNIST’a), но он будет совсем плох, если ваши данные на самом деле представляют собой какой-нибудь условный рулет или бублик. t-SNE настойчиво вам будет разносить ваши наблюдения по группам («кластерам»), когда в данных исходной размерности ничего подобного нет.

Попробуйте другие методы понижения размерности ( как минимум для сравнения с результатами t-SNE). UMAP, LLE, Hessian LLE, Isomap итд

источник

19:15пожаловаться #8

RM

Roman Majorant in Machine learning

K-S

t-SNE в принципе неплохо отрабатывает, если ваши данные в исходном признаковом пространстве действительно разнесены друг от друга (как в каноничном примере с MNIST’a), но он будет совсем плох, если ваши данные на самом деле представляют собой какой-нибудь условный рулет или бублик. t-SNE настойчиво вам будет разносить ваши наблюдения по группам («кластерам»), когда в данных исходной размерности ничего подобного нет.

Попробуйте другие методы понижения размерности ( как минимум для сравнения с результатами t-SNE). UMAP, LLE, Hessian LLE, Isomap итд

Спасибо!

источник

19:17пожаловаться #9

I

Ibp in Machine learning

Roman Majorant

то есть, что именно заставляет модель классифицировать иначе?

там видимо есть начальные, стартовые какие то параметры, которые задаются случайным образом, вот рандом стейт их и задает. а вообще там можно скорее всего явно эти параметры задать, нужно только покопаться

источник

19:42пожаловаться #10

DP

Dmitry Penzar in Machine learning

Roman Majorant

то есть, что именно заставляет модель классифицировать иначе?

у dbscan устойчивы только коровые точки, а границы могут меняться из-за того, что первая точка в алгоритме выбирается случайно

источник

19:58пожаловаться #11

RM

Roman Majorant in Machine learning

Ibp

там видимо есть начальные, стартовые какие то параметры, которые задаются случайным образом, вот рандом стейт их и задает. а вообще там можно скорее всего явно эти параметры задать, нужно только покопаться

хммм
буду смотреть

источник

20:01пожаловаться #12

RM

Roman Majorant in Machine learning

Dmitry Penzar

у dbscan устойчивы только коровые точки, а границы могут меняться из-за того, что первая точка в алгоритме выбирается случайно

ну да, согласен

источник

20:01пожаловаться #13

i

igor in Machine learning

cлышал там не согласных с диктатурой погнали метлой из вышки.

источник

20:03пожаловаться #14

DP

Dmitry Penzar in Machine learning

Roman Majorant

ну да, согласен

ну и сам tsne если не фиксированный state - будет давать разные резы. И да, как вам писали, tSNE не сохраняет расстояния. Потому кластеризация на tSNE в статьях, к примеру, не принимается сейчас. Моно umap, но тоже не в размерности 2. А в бОльшей

источник

20:06пожаловаться #15

RM

Roman Majorant in Machine learning

Dmitry Penzar

ну и сам tsne если не фиксированный state - будет давать разные резы. И да, как вам писали, tSNE не сохраняет расстояния. Потому кластеризация на tSNE в статьях, к примеру, не принимается сейчас. Моно umap, но тоже не в размерности 2. А в бОльшей

у меня как раз была размерность большая, в силу того, что с текстами работаю

источник

20:07пожаловаться #16

RM

Roman Majorant in Machine learning

то есть, целесообразно применить umap?

источник

20:07пожаловаться #17

DP

Dmitry Penzar in Machine learning

ну да, он в отличии оот тисни умеет переводить в, скажем, размерность 10

источник