DB
и из-за того что нормально не приколодить хранилку к процессорным ядрам без ущерба виртуализации
тут да - не приколотить. Но у тебя узкий кейс - ты пытаешься выжать макс близко к железу в виртуалках
Size: a a a
2020 August 01
DB
стоит ли ставить nobackfill,norebalance,norecover. если мейтнененс может затянуться.
стоит. обьем записанных данных все равно редко бывает прям колоссальным. я на день-два так отрубал ноды, ребаланс был не очень большой
n
больше всего ZFS бесит. средств управления CPU affinity вообще нет, такая жопа с NUMA.
DB
@terrifilch слушай - может поставить меньше секунд на слоумод, а то жесть какая-то. отвечать невозможно
DB
больше всего ZFS бесит. средств управления CPU affinity вообще нет, такая жопа с NUMA.
NUMA сама по себе жопа )) Я решил пока что, если я беру железо - то это всегда односокетное на amd
TF
@terrifilch слушай - может поставить меньше секунд на слоумод, а то жесть какая-то. отвечать невозможно
нет,это что бы не делать флуд по 1му предложению
n
NUMA сама по себе жопа )) Я решил пока что, если я беру железо - то это всегда односокетное на amd
сюрпрайз: у эпиков и по 4 numa узла под одной крышкой, и может быть больше (не интересовался), каждый со соим memory & pci-e controller
DB
сюрпрайз: у эпиков и по 4 numa узла под одной крышкой, и может быть больше (не интересовался), каждый со соим memory & pci-e controller
да знаю - ну они хоть под одной крышкой ))
n
я даже не знаю, как на эпиках конфиг с NVDIMM намутить: там вроде как ограничения куда их можно втыкать в многоканальной конфигурации. в типичной материнке под эпик с одним сокетом мы будем иметь по 1 димм на канал...
n
хочу где-нибудь потестить NVDIMM в плане радикального сокращения IO latency при сохранении виртуализации
n
очень не устраивает, что на тех серверах, которые у меня есть, с теми ядрами (привет мелтдаун патчам) вместо 40к иопс(на хосте) я вижу 10к в виртуалке
n
прокидывать NVME в виртуалку с каждой говноСУБД нет никакой возможности, мало pci-e слотов. А разработчики хотят одна база-один постгресс (ну и да, плюс клон с синхронной репликацией). Вот купил себе pm1725a 1.6TB за 175 баксов, там чет в буклетике про SR-IOV написано. Другой вариант - SR-IOV на LSI SAS3008, и юзать хитачевские SAS3 накопители типа ss530 с 280к иопс
n
кстати, есть информация, поддерживает ли SAS3408 , это который tri-mode чип, SR-IOV, или нет?
n
хмм, погонял fio в виртуалке с cache=none и cache=direct sync, virtio-blk+iothread на rbd. разница 10%
DB
прокидывать NVME в виртуалку с каждой говноСУБД нет никакой возможности, мало pci-e слотов. А разработчики хотят одна база-один постгресс (ну и да, плюс клон с синхронной репликацией). Вот купил себе pm1725a 1.6TB за 175 баксов, там чет в буклетике про SR-IOV написано. Другой вариант - SR-IOV на LSI SAS3008, и юзать хитачевские SAS3 накопители типа ss530 с 280к иопс
мне кажется, что ты не с той стороны заходишь. виртуализация - так и или иначе про экономию и оверселлинг, пусть даже в рамках одной компании. Имхо тебе нужны микро сервера односокетные с 2 слотами для nvme на каждую ноду
DB
Ну и интел не избавиться от своих багов еще неизвестное количество лет. Может никогда уже
DB
Либо писать свой балансер, который ходит и все прибивает гвоздями к ядрам умно. Возможно амазон тот же так и делает
n
мне HP Moonshot глянулся с m510 серверами-картриджами. 16 ядер в картридже, до 128гб DDR4, 2xmsata, 2xNGFF NVME. Дешево на ебай. вот только корзину по халявной цене не купить. 45 картриджей в корзине. Сетка в m510 - 2x10gbe
DB
мне HP Moonshot глянулся с m510 серверами-картриджами. 16 ядер в картридже, до 128гб DDR4, 2xmsata, 2xNGFF NVME. Дешево на ебай. вот только корзину по халявной цене не купить. 45 картриджей в корзине. Сетка в m510 - 2x10gbe
кстати да. их @kvaps в своем большем хостинге как-раз пользует. Спроси его про опыт
n
m510 по 150 что-ли баксов видел. супер экономия. 720 ядер в 4U