GP
а он есть в жарке ?
Size: a a a
2021 October 18
GP
А этот жоб раннер типо мейн?
MM
A
Возможно не в классе
VI
В общем заработал у меня этот параметр, как я понял он будет работать, если размер таблички больше 20 Гб. Т.е. если он табличка менее 20 Гб он берет repartition =200 по умолчанию.
ИК
На самом деле и так быть не должно, потому что если я читаю таблицу из одного файла, в котором пара строк, то и партиций будет одна. Специально сейчас посмотрел
KR
Не подскажешь, как размер оптимально вычислять?
Я выбрал как-то 1024*1024*500 при 40 доступных гб на нодуи забыл про эту конфигурацию
Я выбрал как-то 1024*1024*500 при 40 доступных гб на нодуи забыл про эту конфигурацию
ИК
Зависит от того, сколько тасков и какого размера хочешь получить. В основном никто не меняет эту настройку без какого-то повода
ПФ
Кто знает каким класслоадером загружаются у Спарка сгенерированные классы?
A
У них отдельный под это
Причём есть отдельный клинер чтобы чистить неиспользуемые уже
Причём есть отдельный клинер чтобы чистить неиспользуемые уже
ПФ
Ага! Причём зачем он когда есть есть URLClassLoader я пока понять не могу
ПФ
А для репла у них ещё один!
A
То есть зачем?
Классы генерируются на лету и существуют только в виде буфера в памяти
Классы генерируются на лету и существуют только в виде буфера в памяти
ПФ
Ну если в него заглянуть - там нет логики никакой специальной
GP
GP
у них все в своих класс лоадерах)
ПФ
public class MutableURLClassLoader extends URLClassLoader {
static {
ClassLoader.registerAsParallelCapable();
}
public MutableURLClassLoader(URL[] urls, ClassLoader parent) {
super(urls, parent);
}
@Override
public void addURL(URL url) {
super.addURL(url);
}
}ПФ
Это для репла, да