ПФ
Классы просто так в память не попадают. Там же скомпилированный кодярник рассылается по нодам
Size: a a a
2021 October 18
A
Так зачем сгенерированные в основной добавлять?
ПФ
Ну и там по коду видно что оно вполне себе мутабельное, правда добавление од синхронизацией
ПФ
Понятия не имею!
A
Ну вот поэтому они и не добавиляют :)
ПФ
Вот иерархия класслоадеров в внутри map
[jdk.internal.loader.ClassLoaders$AppClassLoader@9e89d68] hashCode=166239592
[jdk.internal.loader.ClassLoaders$PlatformClassLoader@118041c7] hashCode=293618119
context class loader=[org.apache.spark.util.MutableURLClassLoader@3f702946] hashCode=1064315206
ПФ
То есть либо они добавляют в MutableURLClassLoader, либо в AppClassLoader
ПФ
(если мы не говорим про репл)
GP
репл вообще отдельная тема)
GP
поломанная как по мне
GP
там всегда костыли какие-то)
ПФ
Да, в дебри репла я даже боюсь в докладе лазить — явно спорю какую-то херь
ПФ
Так, а вот вопрос: я почему-то думал что скомпилированные сгенерированные исходники разбрасываются по экзекьюторам. Но кода такого я не вижу. Я неправ?
ПФ
Или это только для репла верно и нормальные джарники честно доступны всем экзекьюторам и нет нужды чтото раскидывать?
GP
они доступны всем ехекуторам
и ехекуторы тянут его из сурса
spark-submit mycool.jar
у тебя такие варики
1. у тебя mycaool.jar в видимости всех ехекуторов и он локально берет
2. это uri который видем всем и тогда каждый ехекутор грузит себе его
и ехекуторы тянут его из сурса
spark-submit mycool.jar
у тебя такие варики
1. у тебя mycaool.jar в видимости всех ехекуторов и он локально берет
2. это uri который видем всем и тогда каждый ехекутор грузит себе его
ПФ
А, ну то есть сгенерированный кодярник всё-таки не раскидывается
ПФ
Интересно, почему я думал что да…
A
Там все веселей
Генерируется java класс
Компилируется
Если скомпилилось то сорцы по екзекуторам кидает
Там каждый компилирует ещё раз уже со своим класспасом
Сетает в него и выполняет
Генерируется java класс
Компилируется
Если скомпилилось то сорцы по екзекуторам кидает
Там каждый компилирует ещё раз уже со своим класспасом
Сетает в него и выполняет
ПФ
Вот, а где ты видишь
Если скомпилилось то сорцы по екзекуторам кидает вот это?ПФ
Я такого кода не нашёл