SK
Нарлд не закидываете тапками, насколько плоха идея запускать yarn внтури другого оркестратора?
Size: a a a
2020 January 20
DG
А почему именно yarn? А HDFS?
SK
А почему именно yarn? А HDFS?
Для spark кластера
РА
а на каком планируете запускать?
DG
Spark кластер умеет и без yarn (как standalone например).
SK
Вижу так, раскатать на впс swarm/nomad а внутри него задеплоить контейнеры с yarn
SK
Spark кластер умеет и без yarn (как standalone например).
Spark-submit в кластер режиме в стендалон не умеет
РА
проще уж тогда раскатать кубик и в нем уже спарк
РА
а еще у спарка есть свой кластер
SK
а еще у спарка есть свой кластер
Spark-submit в кластер режиме в стендалон не умеет
SK
проще уж тогда раскатать кубик и в нем уже спарк
У нас нет компетенции в кубике😅
SK
Просто вопрос скорее в том как раскатывать yarn с помощью ansible или можно его в образ докера закатать почти безболезненно
РА
ну тогда делайте матрешку
РА
кроме доп. оверхеда это ни чем особо не грозит
DG
Spark-submit в кластер режиме в стендалон не умеет
В смысле? Можно вполне поднять standalone cluster и запускать джобы распределенно.
РА
Просто вопрос скорее в том как раскатывать yarn с помощью ansible или можно его в образ докера закатать почти безболезненно
т.к. это под спарк то с дискими вроде особой нужды нет работать, как это бывает у части ярн приложений, поэтому можно хоть так, хоть так по мне
DG
Просто вам тогда нужно какое-то общее хранилище. S3 например.
SK
В смысле? Можно вполне поднять standalone cluster и запускать джобы распределенно.
В стенд алон можно сабмитить только в клиент режиме что черновато Спарк драйвером на ноде которая делает сабмит
SK
Просто вам тогда нужно какое-то общее хранилище. S3 например.
Есть s3 минио в дистрибьютер моде
DG
Ну хз, разворачивать yarn только чтобы запускать driver на другой ноде. Такое.