Size: a a a

PostgreSQL + 1C + Linux

2020 July 10

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Сергей Голод
https://www.postgresql.org/docs/12/wal-reliability.html
....
If you have file-system software that prevents partial page writes (e.g., ZFS), you can turn off this page imaging by turning off the full_page_writes parameter.
Ок, вопросов нет
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
))
источник

LK

L K in PostgreSQL + 1C + Linux
Alexey Fedotov
давно дело было?
Может с год назад
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Сергей Голод
там есть про отключение checksum в инстансе. А бенчи я делал у себя на pg_bench. Страдают в первую очередь инсёрты:

root@sql# time /opt/pgpro/1c-11/bin/pgbench -U postgres -i -s 1000 pgbench
....
100000000 of 100000000 tuples (100%) done (elapsed 76.33 s, remaining 0.00 s)
vacuuming...
creating primary keys...
done.

real  4m54.682s
user  0m13.867s
sys  0m0.314s

root@sql# time /opt/pgpro/1c-11/bin/pgbench -U postgres -i -s 1000 pgbench
....
100000000 of 100000000 tuples (100%) done (elapsed 67.62 s, remaining 0.00 s)
vacuuming...
creating primary keys...
done.

real  2m14.153s
user  0m14.322s
sys  0m0.364s


второй результат это на кластере с отключенными чексуммами
Такая деградация - это с выключенным fpw?
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Grigory Smolkin
Такая деградация - это с выключенным fpw?
вот сейчас уже не скажу - тестировал достаточно давно и какие опции были включены дополнительно не помню. Но разница между именно этими двумя выполненными тестами была только в одном - включеные чек-суммы и выключенные на инстансе. Я предположил что это именно эффект первоначального расчёта chksum при вставке.
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
.... надо бы мне найти время и перемерять уже на 12ой версии чтобы точно убедиться и измерить эффект от контрольных сумм
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Я вангую, что если вынести wal на xfs/ext4, то деградация сильно уменьшится
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Grigory Smolkin
Я вангую, что если вынести wal на xfs/ext4, то деградация сильно уменьшится
я попробую проверить и такой вариант. даже в ram его вынесу для целей эксперимента)
главное найти время и относительно свободную машину для этого
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Сергей Голод
я попробую проверить и такой вариант. даже в ram его вынесу для целей эксперимента)
главное найти время и относительно свободную машину для этого
В рам не надо, если в рам, то, конечно, будет быстро
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Grigory Smolkin
В рам не надо, если в рам, то, конечно, будет быстро
ну тогда и будет виден эффект от чексумм, который они оказывают на cpu
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
или если разница будет в статпогрешности, то значит нет вообще оверхеда
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Сергей Голод
ну тогда и будет виден эффект от чексумм, который они оказывают на cpu
Нет, это будет некорректное сравнение, потому что вместе с чексуммами мы убрали и время записи на диск
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Мы этот результат ни с чем не сможем сравнить
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Надо или оба измерения производить в рам, или ни одного
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Grigory Smolkin
Нет, это будет некорректное сравнение, потому что вместе с чексуммами мы убрали и время записи на диск
почему? Ведь речь про оценку влияния чек-сумм в инстансе. Расчёт чек-сумм это в первую очередь влияние на cpu. данных при этом пишется не больше и не меньше
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Сергей Голод
почему? Ведь речь про оценку влияния чек-сумм в инстансе. Расчёт чек-сумм это в первую очередь влияние на cpu. данных при этом пишется не больше и не меньше
Это гипотеза, её ещё надо подтвердить
источник

GS

Grigory Smolkin in PostgreSQL + 1C + Linux
Скорость записи на диск - константа, но в первом замере она присутствует в результате, а во втором - нет
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Grigory Smolkin
Это гипотеза, её ещё надо подтвердить
мне даже стало самому интересно, как чек суммы могут повлиять на производительность дискового ввода/вывода
источник

А

Андрей in PostgreSQL + 1C + Linux
Сергей Голод
мне даже стало самому интересно, как чек суммы могут повлиять на производительность дискового ввода/вывода
ну как, данные на диске, соответственно он читает данные и потом cpu высчитывает чек-сумму
источник

СГ

Сергей Голод... in PostgreSQL + 1C + Linux
Андрей
ну как, данные на диске, соответственно он читает данные и потом cpu высчитывает чек-сумму
данные он читает в любом случае. Пройти алгоритмом по прочитанным данным - это cpu
источник