И еще вопрос, thift при запросе жирного SQL выдает Error running query: java.lang.OutOfMemoryError: Java heap space
, увеличение YARN_HEAPSIZE
до 10gb не помогло
я на всякий случай добавлю что настройки spark и yarn между собой не связаны, yarn просто дает границы (и преемптит контейнеры, если включено), в остальном вам надо осознанно настраивать размеры Spark executor и следить чтобы они были не больше разрешенных YARN пределов, но и не оставалось "пустых" мест, когда контейнер большой а executor маленький