SS
Используй генераторы
Size: a a a
2021 June 02
AC
обучать алгоритмами, которым не нужно чтобы весь трейн был в памяти. Например взять нейронные сети, и обучать, либо взять подвыборку из большого датафрейма и обучать случайный лес
AT
строить по одному дереву, запоминать результать, а потом самому взвешивать
JS
еще вариант - юзать Spark MLlib на нескольких компах
JS
но лучше сэмплить и потом голосование
IC
rxDForest
хоть терабайты
правда памяти будет требовать - которое необходимо для минимальной порции (как определить минимальную порцию - незнаю :) )
но укладывается в 64 гига
https://docs.microsoft.com/en-us/machine-learning-server/r-reference/revoscaler/rxdforest
хоть терабайты
правда памяти будет требовать - которое необходимо для минимальной порции (как определить минимальную порцию - незнаю :) )
но укладывается в 64 гига
https://docs.microsoft.com/en-us/machine-learning-server/r-reference/revoscaler/rxdforest
IC
Но это правда для тех у кого Виндовс
IG
spark, dask?
RY
буду юзать catboost. можно обучить на части данных, сохранить. затем новая часть данных и дообучить модель и т.д.
IC
ну вот тогда в тему
https://www.youtube.com/watch?v=ei-ZCAafr7s
https://www.youtube.com/watch?v=ei-ZCAafr7s
AD
Оказывается Apache Spark написан на Java. Однако, я думал для основы ML что-то менее тормозное выбирают 🤔
JS
о, catbust который в clickhouse встроен, попробуй
OC
Java не тормозит
JS
xgboost - тормозит, хотя на C написан
JS
и не на жава, а на scala
SD
Ооо … свидетели тормозов на Джаве подтянулись
JS
я частенько пентаху гоняю, она на жаве - так легко гигабайты данных пережевывает и от OOM не падает
JS
но она и написана правильно, все много-поточно и оптимально... ну и как джоб или трансформацию напишешь
2021 June 03
IC