процент развало фс в образах от 0,5 до 1%

при этом файлы образов объявляют себя петабайтного объёма

Но по поводу компрессии zfs и  qcow2 - оно может нести проблему в последовательности: ос в vm кладёт данные на fs в vm, ниже которой qcow2 драйвер делает cow для блока, который собирается положить на диск, ниже zfs делает cow для qcow2 который уже положили на диск и попутно применяет к нему компрессию, далее драйвер fs в vm наконец завершает запись, qcow2 снова делает cow, а zfs ещё раз делает cow для ещё одного блока и тоже его жмёт. В этой цепочке нет ничего хорошего, как в плане производительности, так и потенциально есть полно точек для повреждения данных.

это как раз может намекать на траблу с какой-нибудь гонкой размещении метаданных/суперблока qcow2, а может и просто бага в драйвере qcow2 при которой в метаданные образа пишутся предельные значения... Ну или блок повреждается мусором, а qcow2 драйвер его не в состоянии прочитать и выводит пределы.

при таком предположени qcow2 должны так же биться на zvol + xfs, но такого не происходит

xfs с cow или без?

судя по версии упомянутого ядра 3.x - xfs без cow

возможно. в этот нюанс не изучал.

но zvol ведь всё равно cow?

Ну zvol по сути просто отражение области inode zfs в виде блочного устройства, но внизу всё равно запись блоками через cow.

а как конкретно данные бились? Вы изучали?

Именно, об этом даже в pve cookbook написано несколько раз. ЗФС у них ненадежная, ага)

это достаточно сложно: чаще всего фс внутри оьраза в кашу, образ снаружи объёмом в петабайты вместо гб. ну и опыта в этом вопросе лично у меня почти нет. от схемы отказались в пользу vdo.

где именно? ссылку можно?

Вот первое упоминание, как qcow использовать

Жалко, что не разобрались, для продукта очень полезно было бы баг репорт составить

Ах ты ж, не могу скриншот скинуть

Книга «mastering proxmox”, раздел «storage system”, глава «a virtual disk image”

ещё была мысль об запуске операций trim внутри вм. дело в том что при всех описанных выше предположениях, я считаю, количство развалившихся вм должно было стремиться к 100%. но вот операция трим запускается далеко не на всех вм. повторюсь что целенаправленно поиска принины почти не делали: схема сбоит - схема ненужна. переход же на звол + xfs я посчитал нецелесообразным,- процент сжатия падает с 55-65% до 23-24%.

Кэширование виртуального диска какое было? Опять же, в mastering proxmox чёрным по белому написано - не все кэши одинаково полезны и data loss вполне может происходить при неверном выборе алгоритма кэширования