DM
conf.spark.jars: „s3://…“
Size: a a a
2021 August 24
DM
А то каждый понапихает своего в CP и ад начнётся
DM
Ещё есть spark.jars.packages - скачать что-то прям для этого запуска
DM
А ещё лучше - запускать контейнер в kubernetes, с помощью k8s-spark-operator
М
А spark в kube по производительности уступает spark на hadoop? Ближе к данным все таки?
A
зависит от задачи
A
если у вас стриминг, то всё не так очевидно
N
в чят призывается верховный спаркокубовод @fall_out_bug
GP
))) я наверн там имел ввиду - другие общепонятные способы пускать пайспарк; это то понятно
GP
Если у тебя все лежит в s3 / GCP / azure то не вижу чем куб уступать будет
A
Если в s3 то да
Если на хдфс то нет
Если на хдфс то нет
М
понял, спасибо!
GP
Вообще, был доклад же 2017 года на спарк саммите; вся идея локалити была в том что б кубоспарк пытался искать датаноду у себя на машине сначала
A
Да, вроде как линкедин рассказывал
A
Потому что без этого было совсем грустно по скорости, с датанода локалити было лучше
A
Но вроде как эти вещи уже все интегрировали в третий спарк
GP
значит оно норм работать будет еали на каждой ноде кубера есть датанода
GP
Да тоже хз я как-то не пускал хдфс на кубере
A
Нужно убера спрашивать :) они пускают