ВК
стандартная процедура, не?
Size: a a a
2019 December 17
E
Владимир Калинин
стандартная процедура, не?
да, согласна, но тут есть тонкие нюансы. Потому что, как Филипп уже написал, возникает вопрос, нужно ли нам делать поправку на множественные сравнения и вообще сравнивать гипотезы, которые изначально нас особо и не интересовали?
ВК
разумеется нужно
E
мне кажется, это все из той же войны и споров про "а когда делать поправки". спор позиций и аргументов скорее
на мой взгляд, поправки нужны, для того, чтобы скорректировать случайные различия, снизить их вероятность
в случае, когда у тебя целенаправленная проверка различий между конкретными факторами, теоретически аргументированная - то можно обходится и без поправки
потому что, если доводить ситуацию до абсурда, то любое исследование и сравнение групп является всего лишь одним из бесконечного множества исследований.
в общем, у меня другой вопрос - а чем обоснована необходимость делить по уровням фактора?
на мой взгляд, поправки нужны, для того, чтобы скорректировать случайные различия, снизить их вероятность
в случае, когда у тебя целенаправленная проверка различий между конкретными факторами, теоретически аргументированная - то можно обходится и без поправки
потому что, если доводить ситуацию до абсурда, то любое исследование и сравнение групп является всего лишь одним из бесконечного множества исследований.
в общем, у меня другой вопрос - а чем обоснована необходимость делить по уровням фактора?
вопрос про необходимость делить по факторам — хороший, ответа у меня на него, конечно, нет (я сейчас делаю ревижн старых данных и их анализа). Скорее всего, чтобы снизить кол-во факторов, потому что изначально это вообще была история про 4 фактора, а не 3, и, чтобы не делать страшную 4-факторуню анову, сделали трехфакторную для одного из факторов. Но это мое предположение
ВК
только грубую или мягкую вам решать
PU
Владимир Калинин
разумеется нужно
а почему разумеется?
E
Владимир Калинин
разумеется нужно
Но, кстати, не очевидно. Почему?
ВК
меня так в школе учили 🧐
PU
вопрос про необходимость делить по факторам — хороший, ответа у меня на него, конечно, нет (я сейчас делаю ревижн старых данных и их анализа). Скорее всего, чтобы снизить кол-во факторов, потому что изначально это вообще была история про 4 фактора, а не 3, и, чтобы не делать страшную 4-факторуню анову, сделали трехфакторную для одного из факторов. Но это мое предположение
собственно, мне кажется, именно здесь ответ на твой вопрос - если это сделано не из теоретических требований, а для простоты, то хорошо бы контролировать, что при этом изменении анализа не теряется что-то важное.
PU
Владимир Калинин
меня так в школе учили 🧐
странный ответ на категоричное утверждение. хотелось бы каких-нибудь более полезных аргументов, что ли
ДК
вопрос про необходимость делить по факторам — хороший, ответа у меня на него, конечно, нет (я сейчас делаю ревижн старых данных и их анализа). Скорее всего, чтобы снизить кол-во факторов, потому что изначально это вообще была история про 4 фактора, а не 3, и, чтобы не делать страшную 4-факторуню анову, сделали трехфакторную для одного из факторов. Но это мое предположение
Мне кажется такой подход логичным. Делать полную (четырехфакторую) анову, и смотреть, значимо ли четырехфакторное взаимодействие. Если нет, то смотрим на значимые трехфакторные взаимодействия. И т.д. - то есть игнорировать все незначимые взаимодействия наивысшего порядка. Но если значимо - не вижу оснований не делать 4-факторную анову.
E
собственно, мне кажется, именно здесь ответ на твой вопрос - если это сделано не из теоретических требований, а для простоты, то хорошо бы контролировать, что при этом изменении анализа не теряется что-то важное.
оно, естественно, теряется, если проводить полную общую анову и потом делать грубые поправки типа бонферонни или холм. Потому что если частная (назовем это так) анова для одного из уровней одного из факторов дает не очень сильный эффект, в общей анове он, скорее всего, потеряется с жесткой попавкой (особенно если факторов или уровней много)
E
Мне кажется такой подход логичным. Делать полную (четырехфакторую) анову, и смотреть, значимо ли четырехфакторное взаимодействие. Если нет, то смотрим на значимые трехфакторные взаимодействия. И т.д. - то есть игнорировать все незначимые взаимодействия наивысшего порядка. Но если значимо - не вижу оснований не делать 4-факторную анову.
Согласна. И мне интуитивно кажется, что все равно нужно сначала делать полную, а вот если она не значима в том взаимоействии, которое ожидалось, то в том, какой дальше правильный алгоритм действий, я теряюсь
ДК
Согласна. И мне интуитивно кажется, что все равно нужно сначала делать полную, а вот если она не значима в том взаимоействии, которое ожидалось, то в том, какой дальше правильный алгоритм действий, я теряюсь
Почему нельзя объединить в одну группу те, которые значимо (и на интересующем уровне эффекта) не отличаются друг от друга?... Мне кажется, в факторном анализе для взаимодействия факторов абсолютно такая же логика.
E
Мы с Ваня дошли до того, что, теоретически, возможно было бы правильным изначально отобрать все гипотезы про все взаимодействия , которые осмысленны в рамках конкретного эксперимента, и сравнить только их и делать множественную поправку только на эти сравнения. Но насколько это имеет место быть на практике, хз
PU
хм. если ты ищешь эффекты, то поправка в любом случае нужна
если ты проверяешь гипотезу о различии конкретных комбинаций факторов - то, наверное, нет. как вы с Иваной решили, угу.
ну и, мне кажется, что когда эффект теряется при усложнении модели, то, возможно, эффект артефактный, так как реальность-то очевидно сложнее, чем простая модель. но это уже имхо.
если ты проверяешь гипотезу о различии конкретных комбинаций факторов - то, наверное, нет. как вы с Иваной решили, угу.
ну и, мне кажется, что когда эффект теряется при усложнении модели, то, возможно, эффект артефактный, так как реальность-то очевидно сложнее, чем простая модель. но это уже имхо.
E
хм. если ты ищешь эффекты, то поправка в любом случае нужна
если ты проверяешь гипотезу о различии конкретных комбинаций факторов - то, наверное, нет. как вы с Иваной решили, угу.
ну и, мне кажется, что когда эффект теряется при усложнении модели, то, возможно, эффект артефактный, так как реальность-то очевидно сложнее, чем простая модель. но это уже имхо.
если ты проверяешь гипотезу о различии конкретных комбинаций факторов - то, наверное, нет. как вы с Иваной решили, угу.
ну и, мне кажется, что когда эффект теряется при усложнении модели, то, возможно, эффект артефактный, так как реальность-то очевидно сложнее, чем простая модель. но это уже имхо.
Тут сложно, потому что в этом конкретном случае этот же эффект выживает, при например, слабой поправке при переходе от частных моделей к полной и не выживает при сильных поправках. То есть, тут второй вопрос, как аргументированно выбрать поправку, но этот вопрос, как мне кажется, очень тесно связан с вопрос про возможность анализа частными моделям по уровням одного из факторов. Потому что все цепляется к вопросу о том, какие гипотезы мы сравниваем и зачем
ДК
Тут сложно, потому что в этом конкретном случае этот же эффект выживает, при например, слабой поправке при переходе от частных моделей к полной и не выживает при сильных поправках. То есть, тут второй вопрос, как аргументированно выбрать поправку, но этот вопрос, как мне кажется, очень тесно связан с вопрос про возможность анализа частными моделям по уровням одного из факторов. Потому что все цепляется к вопросу о том, какие гипотезы мы сравниваем и зачем
Мне кажется, тут еще стоит смотреть в сторону величины эффекта и мощности выборки. Сложные факторные эксперименты требуют мощных выборок.
E
Я проверяю гипотезу о различии значений зависимой переменной Y при разных комбинациях факторов. Эффектом считается значимое отличие значений Y при одной комбинации уровней факторов от нескольких других, контольных