e
попытка затащить в облака модель и выполнить регуляторные ограничения
Size: a a a
2021 May 04
VS
Эмм, модель же не хранит пд
VS
Зачем там что-то шифровать?
AZ
наверное речь про обучение
AZ
думаю действительно Protegrity вам подойдет, они щас копают AI on protected data
BK
Все привет!
Кто нибудь использовал в спарке FAIR планировщик?
У меня много джоб у нужно оптимизировать время выполнения.
Делаю тред-пул в пайтоне и в каждой функции, которая выполняется в треде, указывают имя пула через setLocalProperty.
XML конфиг указал через проперти в контексте, так же и нужный тип планировщика.
В итоге все выполняется последовательно. В UI планировщик - это FIFO.
Кто нибудь использовал в спарке FAIR планировщик?
У меня много джоб у нужно оптимизировать время выполнения.
Делаю тред-пул в пайтоне и в каждой функции, которая выполняется в треде, указывают имя пула через setLocalProperty.
XML конфиг указал через проперти в контексте, так же и нужный тип планировщика.
В итоге все выполняется последовательно. В UI планировщик - это FIFO.
BK
Можете подсказать, где сделал ошибку?
GP
никто никада fair скедулер не использвоал, да
BK
А почему?
GP
эт сарказм
BK
А, понятно
GP
просто на старте своей спарк сессии поставить что планировщик fair
GP
до старта сессии, суй в конфиг
GP
это характеристика жобы, не характеристика чего-то еще
GP
не могу понять как тут связан xml конфиг и тред пул в пайтоне
BK
В XML характеристики пулов описаны, в треде нужно указать в каком пуле будут выполняться джобы.
GP
ну укажи, там без разницы
имя пула уже указывается после старта сессии
имя пула уже указывается после старта сессии
BK
Через Спарк сабмит, я правильно понимаю?
GP
ах, ты хочешь хмлькой конфижить все