A
В каким виде запускаете?
Size: a a a
2019 June 05
A
Драйвер и воркеры где?
AK
запускал из spark-shell прямо с датаноды
m
а можно как то симулировать поведение кластера на одной машине?
AZ
запросто, виртуалки вам в помощь
m
а если докер контейнеры?
m
есть какой то рецепт для этого?
UD
убивать контейнеры, ломать сеть между ними
AZ
или докер контейнеры, мне нравится LXD для таких работ использовать - нормальные системные контейнеры, персистентные как виртуалки, но без оверхеда виртуализации
m
убивать контейнеры, ломать сеть между ними
я скорее о равномерном распределении ресурсов
m
например на i/o, как не крути головка у диска всего одна
AZ
lxd и докер позволяют ограничить ресурсы, и с одним диском будет у вас fifo на ввод/вывод
AZ
например на i/o, как не крути головка у диска всего одна
если у вас крутящиеся диски то скорее всего сервер, там много дисков может быть
m
https://www.hetzner.com/dedicated-rootserver/sx292 15 штук, очень удобно
ну это уже не на одной машине
m
мб кластер из каких нибудь Pi Zero собрать? :D
m
смогу прям аппаратный шатдаун симулировать (ручками)
AZ
ну это уже не на одной машине
почему? вам этого одного сервера хватит сэмулировать штук 6-8 нодов
m
почему? вам этого одного сервера хватит сэмулировать штук 6-8 нодов
я имел ввиду локальную машину
AZ
мб кластер из каких нибудь Pi Zero собрать? :D
зачем возиться-то? программно все проще..