Аа, ок. те значит не проходит этап с добавлением нужного jar?

Скорее всего тут по зависимостям какая-то несовместимость. Можете прислать вывод от Ivy? Он печатает список артефактов, которые используются.

В следующей версии, которая скоро выйдет, будут артефакты для основных поддерживаемых версий Spark отдельными подтипами (а не только по версии Scala как сейчас), подобных проблем должно стать меньше.

какой командой/где посмотреть?

после создания sparkSession

должна такая простыня выводиться:

Ivy Default Cache set to: /Users/akhropov/.ivy2/cache
The jars for the packages stored in: /Users/akhropov/.ivy2/jars
:: loading settings :: url = jar:file:/Users/akhropov/Library/Python/3.7/lib/python/site-packages/pyspark/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
ai.catboost#catboost-spark_2.12 added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent-0147ebb6-b5a2-4184-80a4-1cb8d79d2f85;1.0
confs: [default]
found ai.catboost#catboost-spark_2.12;0.25-rc3 in local-m2-cache
found com.google.guava#guava;29.0-jre in central
found com.google.guava#failureaccess;1.0.1 in central
...

:: resolution report :: resolve 792ms :: artifacts dl 24ms
:: modules in use:
ai.catboost#catboost-common;0.25-rc3 from local-m2-cache in [default]
ai.catboost#catboost-spark-macros_2.12;0.25-rc3 from local-m2-cache in [default]
ai.catboost#catboost-spark_2.12;0.25-rc3 from local-m2-cache in [default]
...

вот это

Ок, спасибо, сейчас посмотрю

кажется он не к той версии обращается
: problems summary ::
:::: WARNINGS
               module not found: ai.catboost#catboost-spark_2.1;0.25-rc3

       ==== local-m2-cache: tried

         file:/Users/o/.m2/repository/ai/catboost/catboost-spark_2.1/0.25-rc3/catboost-spark_2.1-0.25-rc3.pom

Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: ai.catboost#catboost-spark_2.1;0.25-rc3: not found]

у вас "2.1", должно быть "2.12"

ага 😅

что-то другое Exception: Java gateway process exited before sending its port number

Большое спасибо буду разбираться дальше

Да, проверил, что у меня ошибка с "An error occurred while calling None.ai.catboost.spark.params.QuantizationParams." возникает ровно в том случае если версия Scala у pyspark не совпадает с версией указанной для catboost_spark

проверить какая версия у pyspark можно примерно так: ls -l ~/Library/Python/3.7/lib/python/site-packages/pyspark/jars/spark-core*

это если pyspark был установлен в site-packages к пользователю, для глобальной установки надо, соответственно, поменять путь на глобальный

Но к сожалению с pyspark 3.0.1 сейчас возникает другая ошибка, Spark любители ломать обратную совместимость, в следующей версии исправим: https://github.com/catboost/catboost/issues/1600

Пока могу посоветовать пробовать только на pyspark 2.4.x

Ок, спасибо