ПФ
У, точно
Size: a a a
2021 October 18
GP
инстанс каждого на тред имей тада ок
ПФ
Тогда понятно почему они не закешировали из коробки
GP
GP
в общем случае не работает
GP
если ограниченное число кодеков то пойдет
GP
часто у тебя мало их
ПФ
Я схемы из коробки закешировал, у них нет стейта мутабельного
ПФ
Лан, я планирую на докладе сказать что каждый экзекьютор сам себе всё генерит, если найдёте опроержение — я прям рад буду услышать )
ПФ
Потому что пока что весь код который мне видно — это прям компиляция и загрузка по месту
NN
Что за доклад?
GP
АК
+1 Что за доклад?
GP
Паша, мы требуем ссылку
A
A
и дальше по тексту
A
сразу попытка проверить что скомпилилось
проверяем все статистики
при необходимости кидаем
дальше размеры проверяем
}
потом на входной рдд в
и дальше уже скармливаем в полученный инстанс класса наши данные
CodeGenerator.compile(cleanedSource)проверяем все статистики
при необходимости кидаем
logWarning(s"Whole-stage codegen disabled for plan (id=$codegenStageId):\n $treeString")дальше размеры проверяем
// Check if compiled code has a too large function
if (compiledCodeStats.maxMethodCodeSize > conf.hugeMethodLimit) {logInfo(s"Found too long generated codes and JIT optimization might not work: " +
s"the bytecode size (${compiledCodeStats.maxMethodCodeSize}) is above the limit " +
s"${conf.hugeMethodLimit}, and the whole-stage codegen was disabled " +
s"for this plan (id=$codegenStageId). To avoid this, you can raise the limit " +
s"`${SQLConf.WHOLESTAGE_HUGE_METHOD_LIMIT.key}`:\n$treeString")return child.execute()}
потом на входной рдд в
mapPartitionsWithIndex делаемval (clazz, _) = CodeGenerator.compile(cleanedSource)и дальше уже скармливаем в полученный инстанс класса наши данные
GP
так мне кажется код генерится на каждом ехекуторе и если возможно кешируется на нем
A
нет, эта часть выполняется на драйвере
A
ты часто видел W
hole-stage codegen disabled на воркерах?