Доброй ночи!

Выскажите мнение по стратегии анализа, пожалуйста.

Есть опрос на 30 "шкал" (большинство 1, несколько по 2 вопроса). Есть одна "целевая" шкала из одного вопроса - нужно понять, что с ней связано сильнее всего.

PCA пока дает факторы 45, 7, 5 и дальше ещё меньше процентов дисперсии. Интерпретируемы слабо.

Думаю начать играть с lasso и разными вариантами stepwise отбора в  регрессии.

Что посоветуете?

Дальше снижение размерности? T-sne, svd? И убирать признаки, которые окажутся малонагружены чтобы было интпретируемо?

Препарировать регрессию и регуляризации?

Быть может что-то ещё?

задача-то какая?
и чем корреляция не угодила?

в уравнениях регрессии у вас будет играть весь комплекс, то есть, вклад какой-то переменной будет с таким коэффициентом при наличии в модели других переменных. и изолированно эти коэффициенты будет рассматривать неправильно

Я тоже пока не вижу оснований накручивать анализ исходя из смысла задачи, но вижу потенциальные резоны накрутить его из-за низкого качества входных данных (опросные данные с 1-2 вопросами на "шкалу", я так понимаю, ещё и с малым числом градаций - это чревато большой ненадёжностью измерения)

если мотивация обратиться к PCA - в расчёте перейти от отдельно взятых ненадёжных вопросов к чему-то более ёмкому по смыслу, то я бы посоветовал CatPCA с супервизором из зависимой переменной. Тогда а) можно будет выправить кривизну шкалирования по отдельным вопросам, б) предикторы будут трансфорироваться не на основе междусобойной близости (и нет гарантии, что компоненты, которые наиболее хорошо обобщают данные по предикторам, одновременно хоть как-нибудь связаны с откликом), а прежде всего из соображений максимальной связи с откликом.

Корреляции в среднем 0.5.
Предполагаю, что каждая из них содержит слишком много от другой.

А если отобрать несколько и сделать для них отдельную модель? Или это вы и называете "изолировать"?

Всем привет! Подскажите, как правильно в данном случае произвести группировку. есть такая структура данных http://joxi.ru/12M83bnc0YRMBm (название таблицы data)
Группировка по столбцам transactionId и date, считаю сумму по столбцу itemRevenue и нужен столбец с наименованием продуктов в этом заказе с некоторым разделителем.
Пример кода: d<-data %>%
 group_by(transactionId,date)%>%
 summarise(Revenue = sum(itemRevenue))%>%
 mutate(Product = paste(productName,sep = ";"))
Ошибка - Error in paste(productName, sep = ";") : object 'productName' not found

попробуйте .$productName вместо productName

Все так. На каждый вопрос 4 категориальных варианта ответа, некоторые - 5 (оцените от 1 до 5).

На выходе нам дают по сути "доля положительных ответов".

Изменить это не могу, увы.

Большое спасибо, посмотрю

>Предполагаю, что каждая из них содержит слишком много от другой.
это вам PCA или матрица корреляций вполне покажут

про изолировать я имею ввиду, что когда у вас уравнение регрессии вида y = 2  * x1 + 3 * x3 + 19, вы не можете говорить о том, что x3 делает максимальный вклад, так как у вас в модели два предиктора. точнее, вы можете так говорить, если корреляция между предикторами нулевая

Error: Column Product must be length 1 (the group size), not 0
In addition: Warning message:
Unknown or uninitialised column: 'productName'.

так там в групбае/саммарайзе же нет продактнейм

Коэффициенты 1, 2 и 3 как стандартизированные получить, насколько я понимаю, невозможно (за 1 в экстрмальных случаях выйти можно, но тогда что-то другое будет иметь нехилый минус). А в нестандартизированных рано говорить о вкладе при любой корреляции)

Хотя что я говорю, в стандартизированных и константы не будет

значения для иллюстрации, от балды написал, честно говоря
в остальном согласен

не, ну на предмет его вопрос надо чётко обозначить для себя, интересует ли наибольший вклад вообще или наибольший уникальный (не покрываемый другими) вклад

если первое, то к корреляции, если второе - то к регрессии

я про это думала, но как исправить не знаю

Определенно уникальный.