а что может  стать понятнее? в текстовом формате отрисовал, но сильно понятнее не стало...

0/1 у вас получаются по причине объектов одинакового класса в листьях. Посмотрев на дерево и на его разбиения, станет понятно, на каком этапе получаются эти самые «идеальные» разбиения

Кто может подсказать, а почему batch_size так сильно влияет на нейронку? На первой картинке batch_size=1, на второй batch_size=16, причем точность на 15% увеличилась, хотя данные те же

Понятно.
А вот в лекциях мы используем понятие порога, варьируем его и на основании него строим кривые. В случае дерева , получается, это не актуально?

О каком именно пороге и кривых речь?

Кривые точности/полноты и roc. Сравнивали вероятности с порогом, если больше - относили к первому классу, в случае бинарной классификация

AUC PRC/AUC ROC так же и для деревьев строятся, разницы не будет.

А каким образом мы можем задавать порог в таком случае?

ROC кривая - это множество классификаторов при разных порогах.
Когда мы сравнивали вероятности с порогом - это скорее всего были вероятности, которые выдавал алгоритм. И вот при варьировании этого порога строятся ROC-кривые, через площадь под которыми оценивается общая адекватность классификатора. Причем, если кривая одного классификатора при определенном пороге строго выше (везде) кривой другого классификатора с другим порогом или такого же просто с другим порогом - считается, что данный классификатор лучше для данной задачи

а порог можно взять тот, который устраивает нас при решении конкретно задачи - где-то можно больше FALSE POSITIVE, где-то FALSE NEGATIVE и тд

Так вы считайте 1/0 как ваши вероятности. Просто у вас всего один порог будет, который вы будете «двигать» при построении рок кривой

Так а как именно я его могу задать при настройке классификатора

Для построения рок кривой/кривой точности и полноты вам самим руками ничего задавать не надо

Понимаю, что не для построения кривой, а именно при настройке классификатора

Если в целом вопрос о пороге, то порог подбирается по кросс-валидации/отложенной выборке и его значение выбирается исходя из ваших нужд (что важнее точность/полнота/и то и другое/какая-нибудь бизнес метрика) итд. Конкретно в вашем случае дерево вам выдает "вероятности" 1/0. Во-первых, надо посмотреть не является ли это дерево переобученным на трейн, посмотрев на качество по cv.

Но в целом же по графикам кривых я могу посмотреть, при каком значении порога мой классификатор ближе к идеальному/нужному мне и далее использовать именно его. Или я неверно понял суть ?

да, по кривой как раз можно выбрать порог)

в зависимости от необходимых TPR и FPR

А как и где я должен его указать, чтобы классификатор использовать именно его?