Частичное присваивание лучше в data.table делать через :=

case_when

а как пайпы работаю в dplyr - один за другим? или чанками могут?

Один за одним

Есть пакет chunked, но это все полумеры.

жаль-жаль

получается надо пилить dplyr  с поддержкой чанков

а так было бы заманчиво, читать частями, обрабатывать и складировать

руками такое делал, через foreach и dplyr для части данных внутри foreach, и финальный dplyr пайп после конкатенации результатов

Спасибо, буду пробовать!

Там есть case_which или типа того, см справку

case_when

Может кто сталкивался:
строю линейную модель
у меня есть 3 категориальных переменные, в каждой примерно ~ 500 разных значений
делаю one-hot-encodding, кодирую 0 и 1

Помимо этого есть еще 3 числовых предиката - по хорошему их надо как-то отскалировать, знаю два популярных способа: (x - min(x)) / (max(x) -min(x)) и (x - mean(x))/sd(x)

Влияют ли как-то переменные, полученные из one-hot encodding на выбор как нужно скалировать переменные?

извините за слово "скалировать", вылетело из головы, как сказать это по-русски

есть же scales::rescale ()

вообще, предикторы вроде как должны быть независимы

кстати, а зачем масштабировать вообще?
это ж не кластерный

при построении линейных моделей без масштабирования признаков можно получить что-то вообще далекое от желаемого

Чтобы коэффициенты сравнивать, наверное

Изменится только масштаб коэффициентов

я не упомянул про регуляризацию..

насколько я понимаю, с немасштабированными признаками регуляризация отработает неточно