G
после чексумм в zfs и его scrub, который без единого слова даже затёртое ddшкой восстанавливает, уверенности в ФС без чексумм нет вообще😂
Size: a a a
2020 May 17
AP
после чексумм в zfs и его scrub, который без единого слова даже затёртое ddшкой восстанавливает, уверенности в ФС без чексумм нет вообще😂
Как после dd чексумма совпадает? Я про данные
G
ещё была мысль об запуске операций trim внутри вм. дело в том что при всех описанных выше предположениях, я считаю, количство развалившихся вм должно было стремиться к 100%. но вот операция трим запускается далеко не на всех вм. повторюсь что целенаправленно поиска принины почти не делали: схема сбоит - схема ненужна. переход же на звол + xfs я посчитал нецелесообразным,- процент сжатия падает с 55-65% до 23-24%.
нашёл на реддите пост про битые qcow2 на zfs, у кого что, но до находки бага в zfs дело, увы, не дошло https://www.reddit.com/r/linuxadmin/comments/czjyni/qcow2_volumes_on_zfs_from_running_qemukvm_vms/
G
Как после dd чексумма совпадает? Я про данные
если избыточность есть, естественно. Метаданные всегда минимум в 2 копиях даже на 1 диске, данные либо миррором и raidz либо copies=2+
G
чексуммы позволяют выяснить какая из копий корректна
ГП
нашёл на реддите пост про битые qcow2 на zfs, у кого что, но до находки бага в zfs дело, увы, не дошло https://www.reddit.com/r/linuxadmin/comments/czjyni/qcow2_volumes_on_zfs_from_running_qemukvm_vms/
спасибо
АЯ
нашёл на реддите пост про битые qcow2 на zfs, у кого что, но до находки бага в zfs дело, увы, не дошло https://www.reddit.com/r/linuxadmin/comments/czjyni/qcow2_volumes_on_zfs_from_running_qemukvm_vms/
Не думаю, что это баг, думаю, что это фича. Qcow - это ж дисковый образ, синтетическая фс внутри файла по-сути, при этом с thin provision, могут возникать моменты, когда оно снаружи ещё одно, внутри уже другое, но kvm об этом ещё не сообщила или сообщила не полностью фс, а тут блэкаут и у ибп вытащен аккумулятор на замену и «усе пропало, шеф» - в этой ситуации внутри qcow мешанина из старых и новых данных и метаданных, попытка интерпретации такого файла штатно даст undefined во все поля (вот все эти странные и невозможные цифры) как в описываемых случаях. Знатоки, что скажете, похоже на правду?
G
Не думаю, что это баг, думаю, что это фича. Qcow - это ж дисковый образ, синтетическая фс внутри файла по-сути, при этом с thin provision, могут возникать моменты, когда оно снаружи ещё одно, внутри уже другое, но kvm об этом ещё не сообщила или сообщила не полностью фс, а тут блэкаут и у ибп вытащен аккумулятор на замену и «усе пропало, шеф» - в этой ситуации внутри qcow мешанина из старых и новых данных и метаданных, попытка интерпретации такого файла штатно даст undefined во все поля (вот все эти странные и невозможные цифры) как в описываемых случаях. Знатоки, что скажете, похоже на правду?
ну вопрос то простой, если именно в qcow2 дело - выбор нижележащей ФС не должен радикально менять процент таких проблем, тут ZFS наоборот его должна уменьшить, а не увеличить.
АЯ
ну вопрос то простой, если именно в qcow2 дело - выбор нижележащей ФС не должен радикально менять процент таких проблем, тут ZFS наоборот его должна уменьшить, а не увеличить.
Тоже так казалось, но драйвера фс все разные, к тому же зфс очень по-разному работает на линухе и фрибсд, например (юзерспейс и кернелспейс) - много нюансов. В том же посте на реддите замечено, что это происходило у многих после обновления кему, а ещё были упоминания, что stacking of CoW fs’es can cause cow issues and amplify it, причём сообщалось, что это происходит с любой cow fs, т.е. и бтрфс, и глюстер и прочие. Так-что да, это некая проблема совместимости, но не прям ошибка работы конкретной фс.
АЯ
Баг-репорт, значит, писать бесполезно, нужно строить костыли)
SK
да как так то, если данные записаны верно никакой разницы что там сверху не должно быть)
SK
истина где-то рядом, чудес не бывает)
I
в чем прикол хранить qcow на zfs ?
A
При быстрых ссд под зил потери будут минимальные или 0, значит, что неплохо, на мой взгляд.
И без zil тоже, zil несёт вспомогательную функцию.
A
в чем прикол хранить qcow на zfs ?
хранить-то можно, vm на qcow2 вращать вредно поверх zfs
2020 May 18
𝖲
в чем прикол хранить qcow на zfs ?
Ради сжатия и дедупликации.
𝖲
Тоже так казалось, но драйвера фс все разные, к тому же зфс очень по-разному работает на линухе и фрибсд, например (юзерспейс и кернелспейс) - много нюансов. В том же посте на реддите замечено, что это происходило у многих после обновления кему, а ещё были упоминания, что stacking of CoW fs’es can cause cow issues and amplify it, причём сообщалось, что это происходит с любой cow fs, т.е. и бтрфс, и глюстер и прочие. Так-что да, это некая проблема совместимости, но не прям ошибка работы конкретной фс.
Xfs тоже cow, проблем нет.
𝖲
Сейчас вместо zfs используем vdo+xfs и тоже всё ок.
ГП
в чем прикол хранить qcow на zfs ?
во-первых, потому что используемая панель не умеет в zvol. Во-вторых, сжалие в связке zvol+xfs полный отстой. Сама же zfs нужна была только из-за сжатия на лету.
G
во-первых, потому что используемая панель не умеет в zvol. Во-вторых, сжалие в связке zvol+xfs полный отстой. Сама же zfs нужна была только из-за сжатия на лету.
Почему сжатие в zvol отстой? Вы чтоли на дефолтном volblocksize=8k пробовали?