Ты очень много деталей не учитываешь в своих расчетах.
Во-первых, значения в листе расчитываются не как средний таргет, а как средний градиент (при leaf-estimation-method=Gradient), домноженный на learning-rate.
Во-вторых, есть ненулевой по дефолту параметр l2-leaf-reg.
В-третьих, может быть выставлен параметр boost-from-average, который пишет начальный аппрокс в отдельной поле модели (bias). Для logloss он выключен по дефолту, но полезно иметь ввиду тоже.
Скорее всего это не полный список деталей.
Т.е. при prediction-type=Probability программа выдает не вероятность, а что-то неописуемое? Тогда переименуйте probability на unknown, чтобы не вводить пользователей в заблуждение. Если все- таки вероятность, то обьясните как в приведенном примере вероятность оказалась на 14% выше реальной. Желательно с формулами, чтобы можно было подставить все входные данные и проверить на калькуляторе.