Вот есть такая задача)

Скорее всего, автор не хочет заружать в память весь датасет, так как он не помещается в гпу, а хочет, как при обучении нейронок, на каждой итерации читать с диска небольшими порциями.

Не очень понятен ее смысл. 1 итерации для обучения более-менее приемлемого качества будет недостаточно.

Если перезагружать датасет на каждую итерацию - будет очень медленно.

И итерация не одна, весь датасет (или его подмножество) перебирается, каждый раз перечитывая диск

Думаю, многие готовы заплатить временем за возможность обучаться на терабайте данных.
Если это конечно не ломает каких-то предварительных обработок всего датасета: бордеры там расставить и тп

Если дело действительно в размере датасета, то можно порекомендовать предварительную внешнюю квантизацию, это может снизить требования к размеру CPU RAM, но квантизованные данные все равно должны целиком помещаться в CPU или GPU (если обучение на GPU) RAM.

Можно учить по одной итерации подставляя результат предыдущей в init_model

но оверхед на загрузку данных будет очень большим по сравнению с временем итерации, особенно если речь про GPU.

Думаю настолько большим, что скорее всего не будет смысла учить на GPU

Да, это и практикуем

Ну, можно ведь и не по одному примеру загружать, а десятую часть, например, и так десять раз.

В общем был бы крайне полезен проработанный фреймворк по использованию генераторов, которые должны читать данные пачками, основанный на init_model, но чтобы задумывался об этих тонкостях не юзер. Юзер бы просто написал генератор по вашим спецификациям

Возможно, для этого есть какие-то фундаментальные ограничения, связанные с невозможностью препроцессинга без загрузки всех данных. Но если это не так, было бы здорово увидеть когда-нибудь в катбусте api генераторов как в keras

Добрый вечер. В версии CLI можно где-то указать "," как десятичный разделитель?

По дефолту "."

Нет. Могу только посоветовать препроцессинг с заменой "," -> '.'.

Ага, так делаю сейчас. Думал может есть параметр. Спасибо.

Кейс: очень маленький датасет (на 800 объектов). Задача бинарной классификации. При перемене random_state СИЛЬНО скачат метрики, зафиксированны перепады до 20 проц при чем roc_auc падает, f1 растет и наоборот. GridSearchCV best score выдает всегда значительно ниже чем последующий best estimator отдельно. Есть гипотеза,  что часть объектов очень полезна для модели и хорошо ее обучает и когда эти оъекты выпадают из train, модель начинает хуже предсказывать. Можно ли как то достоверно проверить это? выявить эти объекты?

Я думаю сделать несколько кроссвалидаций вручную и отследить в каких фолдах скор лучше есть ли достоверная зависимость в содержащихся объектах по индексам. но это такааая отсебятина, может какие то умные люди уже чтото придумали нормальное человеческое

Можно забутстрапить, и посмотреть на распределение. Если оно явно ненормально перекошенное, то это может быть доводом в пользу теории. Еще, развивая идею ресемплинга, можно по ним посчитать корреляцию (присутствие примера) vs (итоговые метрики).
Из конкретно катбустовых, где-то в районе feature importance могли лежать аналогичные оценки для сэмплов, тут я точно не помню и не сориентирую.