12 я сам не ставил. Это все hyperparam cv. А в чем проблем таких глубоких деревьев помимо computational load. Так как несимметричные деревья, это тот же light gbm
Глубина 12 - это 4096 значений в листьях. Ну и при подсчете скора сплита мы получаем 2^ 11 * binCount(Feature_i), что для дефолтной бинаризации 128 дает аж 262-е тысячи бинов в гистограммах по одной фиче, дюже много