О, прикольно.

Ну и инсектициды, а потом уже свои датасеты должны быть :)

На 2 и 3 группы лучше брать сеты поменьше

Если задача пока в обучении Анове или Манну-Уитни, то на многосотенных данных будет куча значимых срабатываний слабых эффектов

Это да, спасибо.

Многосотенных в плане наблюдений? Это как?

Плюс в Титанике половина, если не большая часть задачи заключается в подготовке данных, извлечении признаков из входных переменных, а не в статистике

На Титанике плавало примерно 1500 человек

При такой выборке даже корреляция меньше 0,1 по модулю значимой выскочит

Плюс Титаник в принципе не про выборочное исследование, поэтому прикручивать к нему p малокорректно

Это с поправкой или без? И насколько хорошо в задаче прогноза такая корреляция себя покажет?

Без, но там и переменных мало

Но я не про Титаник конкретно. Почему многосотенные исследования плохо?

Потому что современные тесты слишком чувствительные.

Точнее, на малых выборках они недостаточно чувствительные, а на больших слишком.

Многосотенные исследования не плохи, а требуют скептичнее относиться к статистической значимости в силу того, что а) логика проверки гипотез в статистике исходит из того, что чем больше выборка, тем больше уверенности а неслучайном возникновении результата, б) практически ни в какой науке нельзя обеспечить честное выборочное исследование со случайным набором. И в силу примешивания побочных различий, срабатывает на значимость что-нибудь не то

То есть Вилкоксон на большой выборке может... найти отличия там где их нет? Или наоборот?

Причём здесь современные тесты? Так с любыми будет, и со Стьюдентом столетним

Но ведь чем меньше выборка, тем меньше вероятность, что она случайна, опять же, исходя из практики

Простите, я имел в виду "те, которые используются сейчас".