DZ
Size: a a a
2020 January 15
2020 January 16
EP
Ребят, а может кто посоветовать книжку/статью по улучшению перформанса спарка?
P
всем привет. расскажите у кого какой опыт был по конфигурации кластера кафки? интересует во чё: зк и брокеры на 1 тачке или на разных? просто кто как делал и были ли грабли)
AZ
всем привет. расскажите у кого какой опыт был по конфигурации кластера кафки? интересует во чё: зк и брокеры на 1 тачке или на разных? просто кто как делал и были ли грабли)
бареметал или виртуалки?
P
бареметал или виртуалки?
vps
AZ
vps
кмк проще разделить тогда, разницы никакой, а гибкости больше
AZ
учтите что ЗК упирается в диски, так что поставьте ему что-то маленькое но быстрое
P
учтите что ЗК упирается в диски, так что поставьте ему что-то маленькое но быстрое
дак какфка тоже)
AZ
дак какфка тоже)
кафка масштабируется, а ЗК нет)
AZ
если будете делать на одних машинах - делайте директорию ЗК на другом томе, отдельном от данных кафки
P
если будете делать на одних машинах - делайте директорию ЗК на другом томе, отдельном от данных кафки
во, кстати, это проверю)
P
vps
вспомнил) vps + docker
AZ
вспомнил) vps + docker
докер в смысле кубер?
P
докер в смысле кубер?
не, на впс стоит докер, зк и кафка запускаются как докер контейнеры
AZ
интересно зачем такое.. в любом случае по канону в докере один процесс - один контейнер, а по волюмам разведите их на разные PV и все
P
интересно зачем такое.. в любом случае по канону в докере один процесс - один контейнер, а по волюмам разведите их на разные PV и все
PV это больше из кубового мира же
AZ
PV это больше из кубового мира же
ну я имею в виду на разные тома на ваших этих виртуалках
P
ну я имею в виду на разные тома на ваших этих виртуалках
да, эт понял. только интересно будет ли профит от разных томов, если к ним будут ходить 2 контейнера, запущенные на 1 докере
AZ
да, эт понял. только интересно будет ли профит от разных томов, если к ним будут ходить 2 контейнера, запущенные на 1 докере
я не уверен что понимаю что такое два контейнера на одном докере, но мой опыт (и рекомендации, например, конфлюент) показывает что ЗК нужны отдельные и быстрые диски https://docs.confluent.io/current/zookeeper/deployment.html#hardware