Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 February 22

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Например эта
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Вам же обьяснили уже, что это не совсем так работает. Почитайте чуть чуть что-то по статистике, а потом задайте вопрос
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Вам же обьяснили уже, что это не совсем так работает. Почитайте чуть чуть что-то по статистике, а потом задайте вопрос
Читаю...единственное не могу понять что такое критерий достаточности выборки, я уже погуглил и единственное что нашел это формулы на Википедии с теоремами непонятными, а по простому нигде не вижу ответ зачем нужен и как рассчитать эту достаточность выборки
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Как же меня бесит , когда я чего-то не знаю или не пониманию
источник

MC

Makha Cloud in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
Как же меня бесит , когда я чего-то не знаю или не пониманию
Эт норм, все мучаются )
95% мучений, 5% результата)
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Anton
Скорее всего тебе поможет CTC-loss для реализации задачи. Посмотри недавно соревнование было от сбера AI-Journey по распознаванию рукописного текста Петра Первого.
Он есть в модели которую использую, попробую, спс
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ребят, а если я просто скачаю датасет с kaggle , то этот датасет можно считать генеральной совокупностью ?
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Я погуглил минут 20-30, но так и не понял одну вещь. Ребят подскажите, зачем отвергать нулевую гипотезу ? Ну да, я пойму что среднее значение какого-то признака будет отличаться для одной группы в отличии от другой...но зачем это нужно ? Какая разница что среднее значение этого признака будет отличаться ?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
Я погуглил минут 20-30, но так и не понял одну вещь. Ребят подскажите, зачем отвергать нулевую гипотезу ? Ну да, я пойму что среднее значение какого-то признака будет отличаться для одной группы в отличии от другой...но зачем это нужно ? Какая разница что среднее значение этого признака будет отличаться ?
Сформулируй гипотезу чтобы была разница
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А если я корреляцию по кендаллу ищу, то мне нужно оценивать мощность выборки заранее ?
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
И есть ли какой-то скрипт , который сразу по всем переменным показывает в датафрейме что переменная нормальная или нет, и выписывает те которые не нормальные ?
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
Ребят, а если я просто скачаю датасет с kaggle , то этот датасет можно считать генеральной совокупностью ?
Нет.
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
Я погуглил минут 20-30, но так и не понял одну вещь. Ребят подскажите, зачем отвергать нулевую гипотезу ? Ну да, я пойму что среднее значение какого-то признака будет отличаться для одной группы в отличии от другой...но зачем это нужно ? Какая разница что среднее значение этого признака будет отличаться ?
Обычно наша нулевая гипотеза состоит в том, что различий между выбранными параметрами нет. Если мы её отвергаем, то оно вроде бы есть.
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
А если я корреляцию по кендаллу ищу, то мне нужно оценивать мощность выборки заранее ?
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
И есть ли какой-то скрипт , который сразу по всем переменным показывает в датафрейме что переменная нормальная или нет, и выписывает те которые не нормальные ?
Да, можно замапить критерий Шапиро-Уилка.
источник

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А по поводу мощности ? Ее надо рассчитывать ?
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
А по поводу мощности ? Ее надо рассчитывать ?
Мощность выборки — это количество объектов в выборке.
источник
2021 February 23

kk

k k in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Тут немного другое определение, но мой вопрос был в другом.
Мощность нужно рассчитывать, чтобы если различия в группах были незначимы, то никто не мог сказать что типо мало набрал наблюдений.

Но у меня не про группы анализ, у меня задача - найти связь между переменными (корреляцию), и я не пойму нужно ли мощность рассчитывать для этой задачи
источник

АК

Андрей Копылов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
k k
Тут немного другое определение, но мой вопрос был в другом.
Мощность нужно рассчитывать, чтобы если различия в группах были незначимы, то никто не мог сказать что типо мало набрал наблюдений.

Но у меня не про группы анализ, у меня задача - найти связь между переменными (корреляцию), и я не пойму нужно ли мощность рассчитывать для этой задачи
Мат статистика и анализ данных всё-таки имеют разную философию..

Классический пример: рулетка в казино 30 раз подряд выпала на красное. Мат стат скажет ставить 50 на 50, тк события между собой не связаны.. А анализ данных покажет, что надо ставить на красные, потому что рулетка имеет дефект и скорее всего опять будет красное.

Для чего тебе статистическая мощность из мат стата?)
источник

A

Alisa in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Андрей Копылов
Мат статистика и анализ данных всё-таки имеют разную философию..

Классический пример: рулетка в казино 30 раз подряд выпала на красное. Мат стат скажет ставить 50 на 50, тк события между собой не связаны.. А анализ данных покажет, что надо ставить на красные, потому что рулетка имеет дефект и скорее всего опять будет красное.

Для чего тебе статистическая мощность из мат стата?)
А почему матстат скажет ставить на чёрное, разве выпадение чисел на рулетке - зависимые события (те выпадение красных как-то может повлиять на выпадение черных в будущем)?
источник