или и там и там

В таргете в основном. Фичей достаточно много и они в принципе достаточно сильно разнообразны. Не думаю, что в них дело. В таргете прямо сильная разница

соответственно, если учить без бейзлайнов и трансформаций таргета, то этот дифферент между средним по трейну и средним по валидации остаётся(
и это не оч хорошо. но тут как бы взять нечего -  у нас деревья.

пробовал из фичей поискать какие-нибудь, с помощью которых можно поделать difference и multiplication трансформации таргета. они в целом норм, но нет таких значений, которые хорошо приблизили бы все объекты в выборках (там разные продукты, скажем так). Поэтому думал на самих таргетах попробовать посчитать а ля статистики (как в вашем примере с бейзлайном, где либо считаются средние, либо строится простенькая линейная модель на части трейна)

Как таргет и фичи по времени меняются?

Все таргеты имеют формулу перевёрнутой параболы вокруг среднего значения конкретного продукта (начало продаж - рост,  пик посередине, снижение к концу продаж). Их формы достаточно похожи. Отличаются только средние значения.

Фичи вариативны, т.к. продажи в разных местах в разные дни. Но в целом, я бы сказал, ничего необычного в фичах. Без лишних скачков и трендов

я на графике стёр, (хотя это не особо сенситив) но по горизонтали продажи. соответственно продажи разные т.к. слегка разные продукты запускаются

По статусу 0.24.4 - добавили поддержку python 3.9, нашли еще сколько-то мешающих релизу багов в эмбеддингах, полирую их.

Круто!)

Подскажите пожалуйста, хочу уменьшить размер модели (1 категориальный признак, 15к уникальных значений), но при увеличении  model_size_reg заметно проседает качество. И учитывая что в доках написано - The mapping from the categorical feature value hash to some statistic values is stored for each categorical feature that is used in the model.  Возникает вопрос - может самому часть этих стат значений посчитать и добавить как числовые фичи? Или это велосипед и мне все таки придется идти на компромис размер-качество?

EDIT: Через сколько примерно можно ожидать поддержку spark, 1-2 года?

Если есть время то экспериментировать с фичами, а если нет то конечно компромис

Середина-конец янавря

Ничего себе

Сейчас уже есть пререлиз, но с багами

Я не уверен что это корректный вопрос, но только Python или scala тоже? или там одно без другого не будет

И то и другое

Pyspark и скала

И катфичи поддержали