а в чем может быть проблема ?
driver зависает и ничего не делает, висит в статусе Running, а executor в статусе Pending
когда захожу в historical server там висит одна таска которую вызывает этот код:
SQL_CONTEXT.read.csv(
path,
inferSchema=True,
header=True
)