У нас только в 1 или 2х етл джобах есть параллельный запуск джобов на одном кластере (ну это который я знаю), все остальные только динамик аллокейшен активно используют
Но конкретно для етл перкоивки между mssql/vertica/hdfs отдельная балалайка которая из очереди и своего скедулера джобы выгребает и в одном спарк кластере перекидывает данные