Size: a a a

R language and Statistical data analysis

2020 April 05

MM

Mikle Mikle in R language and Statistical data analysis
Alexander Semenov
На меня обижались, когда я не хотел пропускать в сборник статью, с R = 0.05.
Прошу прощения, имеется в виду R-квадрат?
источник

MM

Mikle Mikle in R language and Statistical data analysis
aGricolaMZ
Я учу 60%
Чем обусловлено такое значение, если не секрет?
источник

a

aGricolaMZ in R language and Statistical data analysis
не знаю, моим личным мнением.

Я чувствую себя хорошо, если больше 70 процентов.
Совсем хорошо, если больше 80 процентов.

Потому что про себя думаю, ну 20-25% дисперсии, можно и плюнуть.
источник

EC

Elena Chechik in R language and Statistical data analysis
aGricolaMZ
не знаю, моим личным мнением.

Я чувствую себя хорошо, если больше 70 процентов.
Совсем хорошо, если больше 80 процентов.

Потому что про себя думаю, ну 20-25% дисперсии, можно и плюнуть.
Друзья, а кто-нибудь набредал на хорошую работу с вдумчивым размышнеием на тему R2? По p-value куча отличных работ и кровавых драк среди эконометристов, а вот c R2 каждый раз что-то типа "ну 60% наверное меня устроит". Есть ли консенсунс, хотя бы по дисциплинам и в зависимости от назанчения модели? Поделитесь любимыми ссылочками, если у кого есть, что на эту тему можно почитать. Спасибо!
источник

a

aGricolaMZ in R language and Statistical data analysis
Не люблю я эти дисциплинарные особенности... Я недавно слышал от филологов, что у них все не строго, поэтому можно и p-value больше 0.05.
источник

R

R in R language and Statistical data analysis
https://twitter.com/jt_kerwin/status/1231778051891060736
В эконтвиттере R2 вообще не любят
источник

EC

Elena Chechik in R language and Statistical data analysis
Вот меня тоже на прикладной микроэконометрике учили, что, да кому нужен этот ваш R2, никто на него не смотрит, особенно если ты прогнозы не планируешь по модели делать – пусть 0.2, да и черт с ним. Но вот номальных статеек с обоснованием на этот счет мне не давали
источник

R

R in R language and Statistical data analysis
с обоснованием обратного вроде тоже нет :D
Но если есть, тоже было бы интересно почитать.
Есть очевидный аргумент про то, что низкий R2 => много важных пропущенных переменных => больше шанс ощутимого смещения, но хз, сомневаюсь, что с нормальными теоретическими обоснованиями этот шанс сильно ниже для R2 = 0.6 по сравнению с R2 = 0.2
источник

EC

Elena Chechik in R language and Statistical data analysis
R
с обоснованием обратного вроде тоже нет :D
Но если есть, тоже было бы интересно почитать.
Есть очевидный аргумент про то, что низкий R2 => много важных пропущенных переменных => больше шанс ощутимого смещения, но хз, сомневаюсь, что с нормальными теоретическими обоснованиями этот шанс сильно ниже для R2 = 0.6 по сравнению с R2 = 0.2
источник

EC

Elena Chechik in R language and Statistical data analysis
R
с обоснованием обратного вроде тоже нет :D
Но если есть, тоже было бы интересно почитать.
Есть очевидный аргумент про то, что низкий R2 => много важных пропущенных переменных => больше шанс ощутимого смещения, но хз, сомневаюсь, что с нормальными теоретическими обоснованиями этот шанс сильно ниже для R2 = 0.6 по сравнению с R2 = 0.2
источник
2020 April 06

MM

Mikle Mikle in R language and Statistical data analysis
Elena Chechik
Друзья, а кто-нибудь набредал на хорошую работу с вдумчивым размышнеием на тему R2? По p-value куча отличных работ и кровавых драк среди эконометристов, а вот c R2 каждый раз что-то типа "ну 60% наверное меня устроит". Есть ли консенсунс, хотя бы по дисциплинам и в зависимости от назанчения модели? Поделитесь любимыми ссылочками, если у кого есть, что на эту тему можно почитать. Спасибо!
Есть множество статей, чем плох R-квадрат как метрика предсказательной силы, как метрика качества модели, как метрика для сравнения моделей и тп. Но в целом никакого консенсуса по поводу R-квадрата толком нет. Особенно в социальных науках, где предсказательная сила моделей зачастую крайне низка. Под социальными науками я в большей степени имею в виду социологию, политологию, психологию и в меньшей степени экономику. Это частично объясняется тем, что собственно задача предсказания в социальных науках ставится гораздо реже, чем задача объяснения. Поэтому, собственно, так популярны интерпретируемые модели - всевозможные разновидности регрессий.

Про это есть хорошее высказывание:
Y = a + b1*x + e
Статистика интересует "b1", а дата саентиста "Y". Статистика (социолога, политолога, психолога и тп) интересует характер связи между переменными, а дата саентиста предсказание зависимой переменной.

Подробнее про объяснительное и предсказательной моделирование можно прочитать в этой статье: https://www.stat.berkeley.edu/~aldous/157/Papers/shmueli.pdf

Ключевая мысль в том, что модель с неправильно оцененными параметрами (b1) может давать лучшие предсказания, чем модель с корректными оценками коэффициентов. В данном случае речь идет про обычную линейную регрессию. Мораль в том, что задачи объяснения и предсказания - это разные задачи.
Вопрос можем ли мы что-то про что-то утверждать имея слабую предсказательную силу - философский. В социальных науках, повторюсь, предсказательная сила моделей крайне низка.

Например, недавний предсказательный контест на данных лонгитюдного опроса детей в Америке (опубликованного в PNAS - 3ий по цитируемости журнал в мире после Nature и Science) показал, что даже на очень хороших данных и используя всевозможные ML модели мы не можем с высокой точностью предсказывать средний балл 15 летних школьников, зная про них все что только можно, начиная с рождения.
Ссылка на статью: https://www.pnas.org/content/early/2020/03/24/1915006117
источник

V

Violet in R language and Statistical data analysis
Я вообще сомневаюсь, что при данном сомнительном сеттинге можно было достичь большего значения R2. Еще хочу заметить, что обычно используется более широкая градация значений. Например, высокий, средний и приемлемый R2, где приемлемый не означает высокий и крайне зависит от области и задачи. Лично я посчитала бы, что  R2=60 находится на грани приемлемого.
источник

MM

Mikle Mikle in R language and Statistical data analysis
Никогда не слышал о приемлемом R2, по крайней мере в соц науках
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
у коэна была таблица размеров эффектов, в том числе и для r2
там >0.35 считается большим эффектом
http://core.ecu.edu/psyc/wuenschk/docs30/EffectSizeConventions.pdf
источник

EC

Elena Chechik in R language and Statistical data analysis
Mikle Mikle
Есть множество статей, чем плох R-квадрат как метрика предсказательной силы, как метрика качества модели, как метрика для сравнения моделей и тп. Но в целом никакого консенсуса по поводу R-квадрата толком нет. Особенно в социальных науках, где предсказательная сила моделей зачастую крайне низка. Под социальными науками я в большей степени имею в виду социологию, политологию, психологию и в меньшей степени экономику. Это частично объясняется тем, что собственно задача предсказания в социальных науках ставится гораздо реже, чем задача объяснения. Поэтому, собственно, так популярны интерпретируемые модели - всевозможные разновидности регрессий.

Про это есть хорошее высказывание:
Y = a + b1*x + e
Статистика интересует "b1", а дата саентиста "Y". Статистика (социолога, политолога, психолога и тп) интересует характер связи между переменными, а дата саентиста предсказание зависимой переменной.

Подробнее про объяснительное и предсказательной моделирование можно прочитать в этой статье: https://www.stat.berkeley.edu/~aldous/157/Papers/shmueli.pdf

Ключевая мысль в том, что модель с неправильно оцененными параметрами (b1) может давать лучшие предсказания, чем модель с корректными оценками коэффициентов. В данном случае речь идет про обычную линейную регрессию. Мораль в том, что задачи объяснения и предсказания - это разные задачи.
Вопрос можем ли мы что-то про что-то утверждать имея слабую предсказательную силу - философский. В социальных науках, повторюсь, предсказательная сила моделей крайне низка.

Например, недавний предсказательный контест на данных лонгитюдного опроса детей в Америке (опубликованного в PNAS - 3ий по цитируемости журнал в мире после Nature и Science) показал, что даже на очень хороших данных и используя всевозможные ML модели мы не можем с высокой точностью предсказывать средний балл 15 летних школьников, зная про них все что только можно, начиная с рождения.
Ссылка на статью: https://www.pnas.org/content/early/2020/03/24/1915006117
Очень красивый заход в примере с ebay, сразу захотелось в какой-нибудь курс эконометрики такой рассказ внедрить. спасибо за ссылки!
источник

АР

Александр Райков in R language and Statistical data analysis
Тут ещё уместно спросить, идёт ли речь об обычном r-квадрате или скорректированном
источник

АР

Александр Райков in R language and Statistical data analysis
нескорректированный r-квадрат можно потихоньку прокачивать закидыванием в модель всякой бессмыслицы хоть до 1
источник

АР

Александр Райков in R language and Statistical data analysis
aGricolaMZ
Не люблю я эти дисциплинарные особенности... Я недавно слышал от филологов, что у них все не строго, поэтому можно и p-value больше 0.05.
Насколько именно выше?
У Fidell & Tabachnik есть момент, что когда речь не идёт о выборочном исследовании (а вы, например, обследуете штат компании в полном составе по её заказу), то можно брать любое p ниже 1/2 (тсссс об этом для студентов)
источник

АР

Александр Райков in R language and Statistical data analysis
Philipp Upravitelev
у коэна была таблица размеров эффектов, в том числе и для r2
там >0.35 считается большим эффектом
http://core.ecu.edu/psyc/wuenschk/docs30/EffectSizeConventions.pdf
Ещё можно пересчитать R^2 в Cohen's f (они тривиально взаимосвязаны), интерпретация есть тут: http://imaging.mrc-cbu.cam.ac.uk/statswiki/FAQ/effectSize
источник

AS

Alexander Semenov in R language and Statistical data analysis
Mikle Mikle
Прошу прощения, имеется в виду R-квадрат?
R. Коэффициент корреляции Пирсона.
источник