Телеграмм чат группы moscowspark страница 853

а глянь ExecutorClassLoader

20:36пожаловаться #1

там по жрпс перекидывает сгенереный файлы иногда

20:36пожаловаться #2

я не знаю правда когда и как часто

20:36пожаловаться #3

ПФ

Есть класс GenerateUnsafeProjection

20:36пожаловаться #4

ПФ

Он генерит и сразу вызывает класс

20:36пожаловаться #5

Alex in Moscow Spark

Сейчас с мобилки, могу завтра найти

Я помню сам удивился когда нашёл

Тоже думал что байткод кидается

20:37пожаловаться #6

ПФ

Да мне кажется и байткод не кидается

20:37пожаловаться #7

ПФ

И более того — строго говоря непонятно зачем его кидать

20:37пожаловаться #8

для репла ток

20:37пожаловаться #9

ПФ

Для репла понятно зачем, да

20:37пожаловаться #10

Alex in Moscow Spark

А зачем по 100 раз компилировать одни и те же сорцы?

20:38пожаловаться #11

я не уверен что кодоген кидается
я думал что функции которые генерятся просто раз пер сорец генерятся

20:38пожаловаться #12

хм

20:38пожаловаться #13

паша пальни есть ли кеш сгенереных сорцов

20:38пожаловаться #14

анкодеры генерят код 100 раз...

20:38пожаловаться #15

ПФ

https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/codegen/GenerateUnsafeProjection.scala#L374-L379

GitHub

spark/GenerateUnsafeProjection.scala at master · apache/spark

Apache Spark - A unified analytics engine for large-scale data processing - spark/GenerateUnsafeProjection.scala at master · apache/spark

20:38пожаловаться #16

ПФ

есть

20:38пожаловаться #17

Encoder[Type].creadteDeserializer

20:39пожаловаться #18

оно на каждый колл генерит код потом компилет

20:39пожаловаться #19

ПФ

потому что с некоторой вероятностью пересылать что бы то ни было дороже чем сгенерить на месте