GP
как тебе угодно
Нет, я не хочу так в доке написано)
https://spark.apache.org/docs/latest/job-scheduling.html
Size: a a a
2021 May 04
BK
Я вроде бы сделал, как ты сейчас предложил. До старта всех джоб указал, через проперти контекста нужный планировщик и путь до XML. А в итоге в UI вижу FIFO.
T
Кстати в fair можно же и без отдельных пулов паралелить просто на уровне тасок, да?
GP
да там чет дефолтное да
GP
покажи как ты засетил нужный скедулер у жобы
GP
можн забить на пулы оно там само норм расправится
GP
для старта ок план, согласен
BK
Сейчас
T
Ну я обычно футурами просто запускаю в fair, работает более менее ок все
GP
ну и се)
T
Супер, просто проверил что я не делаю каких нибудь бэд практикс 😊
BK
from awsglue.context import GlueContext
from pyspark import SparkContext
glueContext = GlueContext(SparkContext.getOrCreate())
spark = glueContext.spark_session
def main():
spark.conf.set("spark.scheduler.mode", "FAIR")
spark.conf.set("spark.scheduler.allocation.file", "fairscheduler.xml")
### logic
from pyspark import SparkContext
glueContext = GlueContext(SparkContext.getOrCreate())
spark = glueContext.spark_session
def main():
spark.conf.set("spark.scheduler.mode", "FAIR")
spark.conf.set("spark.scheduler.allocation.file", "fairscheduler.xml")
### logic
BK
Блин, не фига не понятно.
BK
Как лучше кусок кода прислать?
T
Ты проверял доки glueчто он разрешает меня шедулер?
T
Раньше там была куча ограничений на то что ты можешь конфигурить для джобы
BK
Ага, спасибо.
Этого я не сделал. Сейчас проверю.
Этого я не сделал. Сейчас проверю.
BK
У меня получилось создать пулы
Только теперь не пойму, почему некоторые таски в дефолтный сабмитятся?
Только теперь не пойму, почему некоторые таски в дефолтный сабмитятся?