N
Как накопится пару ярдов-попробую побенчмаркать вместе с православным паркетом.
у меня опять странный вопрос (но я же собака сутулая, мне можно)
как из выборки в ???M элементов (объект с десятками полей разных типов) выбрать "наиболее типичные".
Size: a a a
2020 October 13
AE
самый простой способ который приходит в голову: посчитать по каждому полю по отдельности его моду, и выбрать пересечение
AE
но что делать если пересечение не пересекается
AE
посчитать не главную моду, но ещё кол-во последующих?
но сколько тогда надо будет перебирать пересечений
но сколько тогда надо будет перебирать пересечений
AE
и самое главное как это сделать на спарке, чтобы не больно
N
а там кластеризация какая-нить? объявить центры кластеров самыми типичными.
AS
Knn?
R
у меня опять странный вопрос (но я же собака сутулая, мне можно)
как из выборки в ???M элементов (объект с десятками полей разных типов) выбрать "наиболее типичные".
как из выборки в ???M элементов (объект с десятками полей разных типов) выбрать "наиболее типичные".
Если характеристики объектов численные (или приводимые к числовым), то можно сделать knn, потом отобрать топ-N объектов близких к центроидам
AE
а там кластеризация какая-нить? объявить центры кластеров самыми типичными.
нет никакой кластеризации, просто большой набор объектов
AE
какой-нить готовый пример этого самого кнн существует в природе?
AE
кста, ни обучающей выборки, ни какой-то классификации нет.
нам нужно просто из сильно большого произвольного набора выбрать "наиболее типичные"
нам нужно просто из сильно большого произвольного набора выбрать "наиболее типичные"
R
кста, ни обучающей выборки, ни какой-то классификации нет.
нам нужно просто из сильно большого произвольного набора выбрать "наиболее типичные"
нам нужно просто из сильно большого произвольного набора выбрать "наиболее типичные"
Вот кластеризация именно про это
R
ой, я совсем забыл термины. Это не knn, это k-means:
https://spark.apache.org/docs/latest/ml-clustering.html
https://spark.apache.org/docs/latest/ml-clustering.html
AE
о. эт звучит ближе к истине.
AS
knn это unsupervised, расстояния по умочанию эвклидовы (между цифровыми признаками)
N
нет никакой кластеризации, просто большой набор объектов
я имел ввиду запилить ее
R
вкратце по коду:
- подаешь на вход датафрейм с объектами, собираешь фичи в features колонку
- устанавливаешь K - число групп в которые ты собираешь объекты (приблизительно)
- прогоняешь fit по датафрейму
- прогоняешь predict по датафрейму
из предикта видишь # кластера по объекту
- подаешь на вход датафрейм с объектами, собираешь фичи в features колонку
- устанавливаешь K - число групп в которые ты собираешь объекты (приблизительно)
- прогоняешь fit по датафрейму
- прогоняешь predict по датафрейму
из предикта видишь # кластера по объекту
AS
да. точно не knn а k-means
R
а из модели берешь центры кластеров - вот тебе и примерные описания