Про скорость:
цпу или гпу? какой режим? цпу+классификация может быть дольше, чем lightGBM, если фичей мало. 25 - достаточно мало. Если было бы порядка сотни фичей, то катбуст уже был бы быстрее. Если хочется ускорить, то можно поставить leaf_estimation_iterations=1.
Еще цпу может быть дольше, если данные разреженные, мы сейчас над этим работаем.
Про качество: надо смотреть на кривую обучения и следить, чтобы модель дообучилась. Я сходу не знаю, почему там разница в качестве, может, недообученная модель. Но если все нормально и модель дообученная, то если есть кейс, где катбуст хуже по качеству, то скидывай его нам.
Про применение: да, есть бенчмарки. На гитхабе есть папка с бенчмарками, там в том числе применялка.