AZ
а подскажете где можно ознакомиться с решением? очень интересно
Kafka Connect, NiFi
Size: a a a
2021 February 05
СХ
а hbase?
работает
RI
работает
спасибо
RI
работает
А ты какую jdk хотел(вроде от амазона) и почему?
СХ
А ты какую jdk хотел(вроде от амазона) и почему?
zulu jdk
RI
я смотрел, выглядит вроде как ок, но вот будет ли ваниль работать.
МЛ
Может кто может подсказать, есть ли способ адекватно контролировать размер файла при записи спарком в партиционированную папку?
spark.conf.set("spark.sql.files.maxRecordsPerFile", n)N
zulu jdk
зачем? хипы терабайтные?
N
Может кто может подсказать, есть ли способ адекватно контролировать размер файла при записи спарком в партиционированную папку?
репартишоном. сколько партишонов-столько и файлов. но надо понимать, что это довольно дорогая операция.
M
репартишоном. сколько партишонов-столько и файлов. но надо понимать, что это довольно дорогая операция.
Проблема в том что нужно контролировать размер файлов а не их количество
N
Проблема в том что нужно контролировать размер файлов а не их количество
ну только подгонкой
A
зачем? хипы терабайтные?
Zulu это та же openjdk от азул со своими фиксами
На большие хипы и низкие паузы их jvm так же как и компания называется Azul
На большие хипы и низкие паузы их jvm так же как и компания называется Azul
UD
Zulu это та же openjdk от азул со своими фиксами
На большие хипы и низкие паузы их jvm так же как и компания называется Azul
На большие хипы и низкие паузы их jvm так же как и компания называется Azul
Два чая
UD
За редким исключением обычного openjdk хватает
A
Ну может у них поддержка от азул куплена на zulu
ИК
Проблема в том что нужно контролировать размер файлов а не их количество
Помимо того, что я советовал в соседней конфе (москау спарк) есть ещё вариант для отважных: свой DataSource, в котором можно сразу делать нужные партиции, Есть DataSourceV1 - старый, но надёжный и V2 - новый, получше продуман, но может изменяться с минорными версиями (Spark 2 интерфейсы V2 были evolving), Spark 3 не смотрел ещё)
UD
Ну может у них поддержка от азул куплена на zulu
Интересно с какого контракта начинаются бэкпорты, типа g1 numa aware
A
Это же вообще доступно, насколько помню в платной раньше был jfr бекпортнут, но сейчас он и в опенждк уже есть (не помню точно номер, 242 вроде, летом вышла)
A
Год назад они именно поддержку и jfr нам пытались продать, ну и секурити фиксы что раньше выходят чем в опенждк сборке