A
cleanedSource это то что сгенерировалось
оно сразу локально на драйвере тестируется компиляция
потом уже на воркеры уходит
оно сразу локально на драйвере тестируется компиляция
потом уже на воркеры уходит
Size: a a a
2021 October 18
ПФ
На Джокере
ПФ
Про кодогенерацию в спарке
NN
Вот это круть)
GP
а покажи где уходит на воркеры
A
опять же
я говорю только про WholeStageCodegen
про другие фильтры и тд которые кодоген поддерживают нужно смотреть
я говорю только про WholeStageCodegen
про другие фильтры и тд которые кодоген поддерживают нужно смотреть
A
rdds
buffer
v
}
}
}
или у нас уже mapMaptitions перестали выполняться на воркерах?
.head.mapPartitionsWithIndex { (index, iter) =>
val (clazz, _) = CodeGenerator.compile(cleanedSource)val buffer = clazz.generate(references).asInstanceOf[BufferedRowIterator]buffer
.init(index, Array(iter))new Iterator[InternalRow] {override def hasNext: Boolean = {val v = buffer.hasNext
if (!v) durationMs += buffer.durationMs()v
}
override def next: InternalRow = buffer.next()}
}
или у нас уже mapMaptitions перестали выполняться на воркерах?
A
в частности строковая переменная cleanedSource
GP
ну так да код но код выгребается из кеша и елси его нету он генерится
GP
паша ж выше кидал линку
ПФ
не, подожди, мне казалось что как раз вот это ничего не раскидывает, а генерит локально
A
cleanedSource генерится на драйвере
дальше раскидывается по воркерам
там он попадает в кеш компилятора
дальше раскидывается по воркерам
там он попадает в кеш компилятора
A
посмотри где она создаётся
GP
а ну все понял
GP
она вне рдд
A
да
GP
а потом каждый ехекутор компилит dds.head.mapPartitionsWithIndex { (index, iter) =>
val (clazz, _) = CodeGenerator.compile(cleanedSource)
val (clazz, _) = CodeGenerator.compile(cleanedSource)
GP
понятно
A
поэтому я и говорил что сразу проходит на драйвере, а потом на каждом екзекуторе компиляция повторяется
но сорс генерится 1 раз
но сорс генерится 1 раз