Size: a a a

KVM (PVE/oVirt etc)

2020 May 16

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Terry Filch
Чем вы мониторите свои сервера?
Анонимный опрос
69%
Zabbix
2%
Nagios/Cacti
20%
Prometheus+Grafana
0%
Graphite+Grafana
1%
ELK🤔
0%
Sensu
1%
SaaS(datadog, new relic, etc)
6%
Я наркоман и опишу в чате "свой велик"
Проголосовало: 83
Netdata, перекатываюсь потихоньку с жаббикса с графаной. Это проще и может тоже самое.
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Ivan
проблема в хранилке, а не фс. к тому же, журнал можно вынести на nvme,равно как и на xfs.
Ну как бы и да, и нет - на одном и том же железе xfs будет робить быстрее, особенно в запись. Тут как бы опять вопрос задач) Цеф выглядит неплохо со всех сторон, например, кроме той, что ему железа надо действительно много, чтобы он стал именно цефом
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
А зфс вообще отличная, особенно во фринасе, на самом деле - самое то для сохо
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Лучше свинолоджи на бтрфс, кмк - дешевле и качественней
источник

I

Ivan in KVM (PVE/oVirt etc)
xfs,btrfs .. Откуда этот мазохизм ?
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Ivan
xfs,btrfs .. Откуда этот мазохизм ?
Что предлагаешь под такой кейс : объём до 250ТБ, запись 1ГБ/с нескольких последовательных потоков постоянно?
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Много хранить не надо, долго тоже, но писать надо быстро
источник

I

Ivan in KVM (PVE/oVirt etc)
и как с этим справляется xfs ? оно даже рейд не собирает.
источник

A

Alibek in KVM (PVE/oVirt etc)
Александр Яздесь
Что предлагаешь под такой кейс : объём до 250ТБ, запись 1ГБ/с нескольких последовательных потоков постоянно?
Ты уверен, что тебе для этого вообще fs нужна?
источник
2020 May 17

VP

Vladimir Pankin in KVM (PVE/oVirt etc)
Александр Яздесь
Что предлагаешь под такой кейс : объём до 250ТБ, запись 1ГБ/с нескольких последовательных потоков постоянно?
зависит от sla
источник

A

Alibek in KVM (PVE/oVirt etc)
Alibek
Кто заморачивался c пробросом nvme (by vfio) в qemu? Поделитесь тайным знанием... Уже всё перебробовал, а всё равно пишет:
qemu-system-x86_64: -device vfio-pci,host=0000:01:00.0,id=hostdev0,bus=pci.5,addr=0x0: vfio 0000:01:00.0: group 0 is not viable
Please ensure all devices within the iommu_group are bound to their vfio bus driver.
Никто не заморачивался что-ли? Какой нибудь верный способ отсадить nvme intel в отдельный iommu может у кого есть?
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Alibek
Ты уверен, что тебе для этого вообще fs нужна?
Я ни в чем не уверен, я думаю, что нужно подбирать все под задачу, фс в том числе.
источник

A

Alibek in KVM (PVE/oVirt etc)
Ну zfs вообще справится, главное ОЗУ в достаточном объёме и быстрые SSD c большим ресурсом в raid снизу.
источник

A

Alibek in KVM (PVE/oVirt etc)
А ну и наверняка будет разумным применять компрессию и выключить atime.
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Alibek
Ну zfs вообще справится, главное ОЗУ в достаточном объёме и быстрые SSD c большим ресурсом в raid снизу.
У нас было: голова супермикро на 2 ксеонах (точно не скажу, но не самые древние), 256гб рам 13333, lsi в hba на 36 сас хгст 10тб + 2 интел 1тб ссд под зил. Компрессия выключена, atime не помню, long prefetch включён, весь остальной сетап штатно согласно рекомендациям оракла. На 20гб/с (jumbo 9k, ибо работа с большими кусками и файлами) соединением с 2гб/с клиентами в максимальной нагрузке достигали 750 МБ/с в обе стороны, что хорошо. Больше нагрузки подать не смогли)
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Но не уверен, что это предел, и уж точно это не предел по железу.
источник

VP

Vladimir Pankin in KVM (PVE/oVirt etc)
Александр Яздесь
У нас было: голова супермикро на 2 ксеонах (точно не скажу, но не самые древние), 256гб рам 13333, lsi в hba на 36 сас хгст 10тб + 2 интел 1тб ссд под зил. Компрессия выключена, atime не помню, long prefetch включён, весь остальной сетап штатно согласно рекомендациям оракла. На 20гб/с (jumbo 9k, ибо работа с большими кусками и файлами) соединением с 2гб/с клиентами в максимальной нагрузке достигали 750 МБ/с в обе стороны, что хорошо. Больше нагрузки подать не смогли)
если много записи - лучше выносить на отдельный блочник запись метадаты
источник

VP

Vladimir Pankin in KVM (PVE/oVirt etc)
Александр Яздесь
Но не уверен, что это предел, и уж точно это не предел по железу.
2линка по гигабиту (если правильно понял) это оч мало
источник

АЯ

Александр Яздесь... in KVM (PVE/oVirt etc)
Vladimir Pankin
2линка по гигабиту (если правильно понял) это оч мало
Простите, уточню: клиенты с линком 2гб/с, хранилка - 20гб/с, отдавали самбу, по-простому, народному. Кол-во клиентов - максимум было 18.
источник

VP

Vladimir Pankin in KVM (PVE/oVirt etc)
Александр Яздесь
Простите, уточню: клиенты с линком 2гб/с, хранилка - 20гб/с, отдавали самбу, по-простому, народному. Кол-во клиентов - максимум было 18.
20 это 2 по 10 в бонде?
источник