Size: a a a

2021 October 18

GP

Grigory Pomadchin in Moscow Spark
а он есть в жарке ?
источник

MM

Maxim Miholap in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
А этот жоб раннер типо мейн?
источник

MM

Maxim Miholap in Moscow Spark
да
источник

MM

Maxim Miholap in Moscow Spark
источник

A

Alex in Moscow Spark
Возможно не в классе
источник

VI

Vladimir Ilyushkin in Moscow Spark
В общем заработал у меня этот параметр, как я понял он будет работать,  если размер таблички больше 20 Гб. Т.е. если он табличка менее 20 Гб он берет repartition =200 по умолчанию.
источник

ИК

Иван Калининский... in Moscow Spark
На самом деле и так быть не должно, потому что если я читаю таблицу из одного файла, в котором пара строк, то и партиций будет одна. Специально сейчас посмотрел
источник

KR

Kagermanov Ramazan in Moscow Spark
Не подскажешь, как размер оптимально вычислять?
Я выбрал как-то 1024*1024*500 при 40 доступных гб на нодуи забыл про эту конфигурацию
источник

ИК

Иван Калининский... in Moscow Spark
Зависит от того, сколько тасков и какого размера хочешь получить. В основном никто не меняет эту настройку без какого-то повода
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Кто знает каким класслоадером загружаются у Спарка сгенерированные классы?
источник

A

Alex in Moscow Spark
У них отдельный под это
Причём есть отдельный клинер чтобы чистить неиспользуемые уже
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ага! Причём зачем он когда есть есть URLClassLoader я пока понять не могу
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А для репла у них ещё один!
источник

A

Alex in Moscow Spark
То есть зачем?

Классы генерируются на лету и существуют только в виде буфера в памяти
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну если в него заглянуть - там нет логики никакой специальной
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
у них все в своих класс лоадерах)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
public class MutableURLClassLoader extends URLClassLoader {

 static {
   ClassLoader.registerAsParallelCapable();
 }

 public MutableURLClassLoader(URL[] urls, ClassLoader parent) {
   super(urls, parent);
 }

 @Override
 public void addURL(URL url) {
   super.addURL(url);
 }
}
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Это для репла, да
источник