AE
(я так и делал, но изредка бывают по два-три джоба на том же кластере, там лайви прям рулит. благо в авсе он в комплекте.)
df.write.mode("overwrite").format("parquet").saveAsTable("xxxx.yyyy")
pyspark.sql.utils.AnalysisException: u"Database 'xxxx' not found;"HIVE_CONF_DIR есть, пробовал в spark'е назначать spark.sql.warehouse.dir. Все равно не помогает. Через hive cli видит.
spark = (
SparkSession.builder.appName("Event Sale: Creating parquet table")
# .config("spark.sql.warehouse.dir", "/user/hive/warehouse")
# .config("hive.metastore.warehouse.dir", "/user/hive/warehouse")
.enableHiveSupport()
.getOrCreate()
)
spark.sql("show databases").show()
