Телеграмм чат группы rlang

2020 January 23

A

Andrey in R language and Statistical data analysis

чем плохо? аналогично по группам можно

> library(data.table)
> my_dt <- data.table(
+   var1 = sample(c('a', 'b'), 2000, replace = TRUE),
+   var2 = rnorm(2000)
+ )
> 
> my_dt[, tg := sample(c('train', 'test', 'validate'), .N, TRUE, c(.7, .15, .15))]
> my_dt[, .N / my_dt[, .N], by = tg]
         tg     V1
1:    train 0.6975
2: validate 0.1610
3:     test 0.1415

Велосипедостроение! Это уже объем кода, который уместно дергать из пакета (не однострочник)

источник

14:52пожаловаться #1

ЕТ

Евгений Томилов in R language and Statistical data analysis

Philipp Upravitelev

тут просто sample() с вероятностями, ничего от data.table

А если в датасете несбаласированные классы и надо, чтобы во всех трёх частях было одинаковое распределение их? Ну, в каретке это учтено уже. Вручную тоже можно, думаю, но дольше и сложнее.

источник

14:52пожаловаться #2

A

Andrey in R language and Statistical data analysis

Вот два варианта для кроссвалидации

источник

14:53пожаловаться #3

A

Andrey in R language and Statistical data analysis

https://tidymodels.github.io/rsample/reference/group_vfold_cv.html или cv_split_group_kfold из https://github.com/statist-bhfz/resampleR/blob/master/R/k_fold.R

tidymodels.github.io

Group V-Fold Cross-Validation — group_vfold_cv

Group V-fold cross-validation creates splits of the data based
on some grouping variable (which may have more than a single row
associated with it). The function can create as many splits as
there are unique values of the grouping variable or it can
create a smaller set of splits where more than one value is left
out at a time.

источник

14:53пожаловаться #4

ЕТ

Евгений Томилов in R language and Statistical data analysis

Но, если серьёзно, то, да, можно всё сделать вручную, это даже круче, хоть и дольше.

источник

14:53пожаловаться #5

PU

Philipp Upravitelev in R language and Statistical data analysis

Евгений Томилов

А если в датасете несбаласированные классы и надо, чтобы во всех трёх частях было одинаковое распределение их? Ну, в каретке это учтено уже. Вручную тоже можно, думаю, но дольше и сложнее.

добавите by и опаньки

источник

14:56пожаловаться #6

ЕТ

Евгений Томилов in R language and Statistical data analysis

Philipp Upravitelev

добавите by и опаньки

Гениально.

источник

14:56пожаловаться #7

PU

Philipp Upravitelev in R language and Statistical data analysis

Andrey

https://tidymodels.github.io/rsample/reference/group_vfold_cv.html или cv_split_group_kfold из https://github.com/statist-bhfz/resampleR/blob/master/R/k_fold.R

tidymodels.github.io

Group V-Fold Cross-Validation — group_vfold_cv

Group V-fold cross-validation creates splits of the data based
on some grouping variable (which may have more than a single row
associated with it). The function can create as many splits as
there are unique values of the grouping variable or it can
create a smaller set of splits where more than one value is left
out at a time.

ты прав, иногда велосипеды лишнее
другое дело, что хорошо бы руками уметь написать хотя бы простейшую реализацию, чтобы понимать, как это работает

источник

14:57пожаловаться #8

DN

Denis Naumov in R language and Statistical data analysis

А какой есть тест на нормальность с данными больше 5000 ?

источник

16:01пожаловаться #9

ЕТ

Евгений Томилов in R language and Statistical data analysis

Denis Naumov

А какой есть тест на нормальность с данными больше 5000 ?

Лучше всего в таком случае уже смотреть глазами распределение, т.к. тесты на нормальность сами по себе сомнительное занятие, а при таких размерах выборки ещё и становятся излишне чувствительными.

источник

16:17пожаловаться #10

А

Александр in R language and Statistical data analysis

Denis Naumov

А какой есть тест на нормальность с данными больше 5000 ?

Сделай поверх данных Бокса-Кокса, будет чуть больше нормальности

источник

16:20пожаловаться #11

i

isya in R language and Statistical data analysis

Denis Naumov

А какой есть тест на нормальность с данными больше 5000 ?

Колмогоров-Смирнов

источник

16:22пожаловаться #12

i

isya in R language and Statistical data analysis

Евгений Томилов

Лучше всего в таком случае уже смотреть глазами распределение, т.к. тесты на нормальность сами по себе сомнительное занятие, а при таких размерах выборки ещё и становятся излишне чувствительными.

это верно если вы одно распределение смотрите

когда стоит задача проверить сразу 100 распределений, то уже становится сложнее

источник

16:23пожаловаться #13

А[

Александр [capsula] in R language and Statistical data analysis

Denis Naumov

А какой есть тест на нормальность с данными больше 5000 ?

Можно сотню-другую раз провести на случайном сэмпле в 5к и Шапиро

источник

17:43пожаловаться #14

DN

Denis Naumov in R language and Statistical data analysis