Size: a a a

2021 October 18

GP

Grigory Pomadchin in Moscow Spark
а где
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Да-да, так и есть, прям на каждом вызове в пайплайне
источник

GP

Grigory Pomadchin in Moscow Spark
ну во а это калич конечно
источник

GP

Grigory Pomadchin in Moscow Spark
оно оч медленное
источник

ПФ

Паша Финкельштейн... in Moscow Spark
На CodeGenerator.compile. Там либо из кэша достаётся, либо генерится
источник

GP

Grigory Pomadchin in Moscow Spark
хм
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я думал прикрутить мемоизацию, но стреманул
источник

GP

Grigory Pomadchin in Moscow Spark
мне пришлось делать кеш
источник

GP

Grigory Pomadchin in Moscow Spark
но оно не тредсейфно
источник

GP

Grigory Pomadchin in Moscow Spark
тред локальный кещ)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
  def compile(code: CodeAndComment): (GeneratedClass, ByteCodeStats) = try {
   cache.get(code)
 } catch {

и потом
        public V get(K key) throws ExecutionException {
           return this.localCache.getOrLoad(key);
       }
источник

GP

Grigory Pomadchin in Moscow Spark
все же анкодеров конечное число не так плохо
источник

GP

Grigory Pomadchin in Moscow Spark
чето оно медленно работает
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я могу и тредсейфный сделать, чо мне )
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Это ж просто ConcurrentHashMap
источник

GP

Grigory Pomadchin in Moscow Spark
не не
источник

GP

Grigory Pomadchin in Moscow Spark
это то тредсейфно
источник

GP

Grigory Pomadchin in Moscow Spark
сами функции не тредсейфны)
источник

GP

Grigory Pomadchin in Moscow Spark
апликации что сериалайзера что десериалайзера не тредсейфны
источник

ПФ

Паша Финкельштейн... in Moscow Spark
ну я на тестовом пайплайне из двух операций гоняю )
источник