GP
_секунды_
Size: a a a
2021 October 18
GP
0.5 даже долго
ПФ
Хотя блин, это я про javac говорю
ПФ
А тут джанино, хз какие у него ограничения
GP
да типо мне пришлось сегенерированые сериалайзеры потредно в мапе хранить
ПФ
И понятно что над ним не сидит пяти лучших компиляторщиков оракла
GP
иначе x300 раз перформанс падал по сравнению с тем что было реализовано без них (руками компайл тайм кодеки которые умели серить десерить)
GP
кстати, а ктонибудь пробовал https://github.com/LucaCanali/sparkMeasure ?
t
а как в твоем случае связаны кодеки для InternalRow и кодген?
GP
о; отличный вопрос
ПФ
блин, прям задумался о том, чтобы приделать к котлин-спарку
ЕГ
Так в итоге и не получилось завести)
ЕГ
Чёт всё не до него было)
ПФ
Почитал и не понял :( Чувствую себя тупым
GP
encoder.createSe(De)rializer посмотри какой
он генерит там на основе экспрешонов твоего кодека функцию которая будет уметь T => InternalRow (строит план а потом .execute его) я в самую глубину не ходил конечно) но это уже медленно звучит)
сами по себе кодеки это уже наборы из InvokeLike всяких а оно вот такое https://github.com/apache/spark/blob/e2e3fe77823387f6d4164eede05bf077b4235c87/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/objects/objects.scala
он генерит там на основе экспрешонов твоего кодека функцию которая будет уметь T => InternalRow (строит план а потом .execute его) я в самую глубину не ходил конечно) но это уже медленно звучит)
сами по себе кодеки это уже наборы из InvokeLike всяких а оно вот такое https://github.com/apache/spark/blob/e2e3fe77823387f6d4164eede05bf077b4235c87/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/objects/objects.scala
GP
я конечно не заявляю _что всегда оно компилится в жаву и делает кодоген_ я детально не разбирался как конкретно оно вычилсяется
но сам факт что на каждый .createSerializer у тебя строится план который потом экзекутится (а резолв и бинд получается как шаг плана) это жесть
но сам факт что на каждый .createSerializer у тебя строится план который потом экзекутится (а резолв и бинд получается как шаг плана) это жесть
GP
гдето была ищща у них в жире где рибята комплейнят по поводу медленной и специфичной реализации коедков (дорогие создавать, не тредсейф по дизайну что делает невозможным единственный инстанс пер ехекутор)
t
а тебе не проще тогда на уровне InternalRow и nullSafeEval работать?
t
прям напрямую internalRow.toSeq(schema) и понеслась
GP
а у меня была система параллельных кодеков ктоорые просто в компайл тайме умели это все разбирать все верно