GP
ну понятно да
Size: a a a
2021 October 18
GP
слушай ну ясно
GP
блин но мне кажется в этом случае кодоген не самое медленное
ПФ
Да мне кажется насчёт кодогена можно вообще не переживать )))
ПФ
Ну типа на фоне всего остального кодоген теряется, это ну там секунда
GP
не совсем
GP
типо вот смотри у тебя считай dataset
GP
или датафрейм
GP
и тебе хочется применить функцию к чемуто
GP
и ты такой оке вот мой экспрешн
экспрешн внутри выдрегивает из памяти спарка то что ей надо (deserialize из InternalRow) изменяет чтото и пакует в InternalRow
эти сер десеры они генерят код и компилят его
прикинь у тебя внезапно функции колл станет пер итем в твоем датафрейме - тогда секунда будет иметь значение)
экспрешн внутри выдрегивает из памяти спарка то что ей надо (deserialize из InternalRow) изменяет чтото и пакует в InternalRow
эти сер десеры они генерят код и компилят его
прикинь у тебя внезапно функции колл станет пер итем в твоем датафрейме - тогда секунда будет иметь значение)
GP
понятно что это не относится - наверное (вообще вроде экспры некоторые могут делать кодогены вроде) - к кодоген стейджу)
GP
но вот эта вся хурма с кодеками и конвретацией из внутреннего спарк представления в жвм репр явно поломана както
GP
я к тому что типо кодоген наверное 0.03 мс а потом еще секу компилить)
ПФ
Не, там очень быстрый компилятор же
GP
hz; ниоч; иногда больше секунды даже
GP
на самом деле при таких числах даже пол секунды дорого
ПФ
Не верю
GP
лол; я не могу примера тебе показать
ПФ
Компиляция даже большой кодобазы это считанные секунды, а тут тривиальный код
GP
но десериализаторы мне пришлось кешировать по тредно