Телеграмм чат группы PostgreSQL_1C

А Выключить Transparent Huge Pages?

скорее всего они у вас выключены

21:32пожаловаться #1

СГ

В мануале Дорошкевича рекомендуется:
В обязательном порядке необходимо вынести каталог pg_stat_tmp в RAM-диск.
Этот каталог очень агрессивно используется PostgreSQL и при этом при выключении
его содержимое копируется в каталог pg_tmp. Размер каталога рассчитывается
примерно как 256МБ-512МБ на 1 БД.
Это что нибудь реально дает?

-rw------- 1 postgres postgres 4.0K Jun 21 21:32 db_0.stat
-rw------- 1 postgres postgres 2.0M Jun 21 21:32 db_119985756.stat
-rw------- 1 postgres postgres 5.7K Jun 21 21:31 db_13410.stat
-rw------- 1 postgres postgres 2.3M Jun 21 21:32 db_16386.stat
-rw------- 1 postgres postgres 1.1M Jun 21 21:31 db_16387.stat
-rw------- 1 postgres postgres 1.2M Jun 21 21:32 db_16388.stat
-rw------- 1 postgres postgres 1.1M Jun 21 21:32 db_16389.stat
-rw------- 1 postgres postgres 4.8K Jun 21 21:31 db_1.stat
-rw------- 1 postgres postgres 438K Jun 21 21:31 db_218648026.stat
-rw------- 1 postgres postgres 2.0K Jun 21 21:32 global.stat

не пахнет тут 256-512Mb на одну БД. Но это даёт как минимум уменьшение числа дисковых операций и увеличивает ресурс ссд диска

21:34пожаловаться #2

cat /sys/kernel/mm/transparent_hugepage/enabled
always [madvise] never
Это Выключено?

21:34пожаловаться #3

СГ

cat /sys/kernel/mm/transparent_hugepage/enabled
always [madvise] never
Это Выключено?

лучше вот это сделайте:
grep HugePages_ /proc/meminfo

21:34пожаловаться #4

grep HugePages_ /proc/meminfo
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0

21:35пожаловаться #5

Сергей Голод

-rw------- 1 postgres postgres 4.0K Jun 21 21:32 db_0.stat
-rw------- 1 postgres postgres 2.0M Jun 21 21:32 db_119985756.stat
-rw------- 1 postgres postgres 5.7K Jun 21 21:31 db_13410.stat
-rw------- 1 postgres postgres 2.3M Jun 21 21:32 db_16386.stat
-rw------- 1 postgres postgres 1.1M Jun 21 21:31 db_16387.stat
-rw------- 1 postgres postgres 1.2M Jun 21 21:32 db_16388.stat
-rw------- 1 postgres postgres 1.1M Jun 21 21:32 db_16389.stat
-rw------- 1 postgres postgres 4.8K Jun 21 21:31 db_1.stat
-rw------- 1 postgres postgres 438K Jun 21 21:31 db_218648026.stat
-rw------- 1 postgres postgres 2.0K Jun 21 21:32 global.stat

А как так посмотреть?

21:36пожаловаться #6

СГ

grep HugePages_ /proc/meminfo
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0

настоящие hugepagaes у вас не используются, используется transparent hp. Есть разные мнения про то что это замедляет работу, но нет действительно качественных тестов которые это показывают

21:36пожаловаться #7

СГ

А как так посмотреть?

что посмотреть? не совсем понял

21:37пожаловаться #8

-rw------- 1 postgres postgres 4.0K Jun 21 21:32 db_0.stat

21:37пожаловаться #9

СГ

-rw------- 1 postgres postgres 4.0K Jun 21 21:32 db_0.stat

ну я вам со своей системы показал размеры этих файлов при выносе их на рам-диск. Может конечно если у меня база станет 1-2Тб, то и файлы статистики станут 256-512Мб, не знаю)

21:39пожаловаться #10

Спасибо.

21:45пожаловаться #11

Сергей Голод

я сталкивался с заметным замедлением от thp

21:49пожаловаться #12

СГ

Percona Database Performance Blog

Перкона считает что влияние хотя и есть, оно незначительное:
https://www.percona.com/blog/2019/03/06/settling-the-myth-of-transparent-hugepages-for-databases/

но я не исключаю что какие-то отдельные случаи страдают от этого.

Settling the Myth of Transparent HugePages for Databases - Percona Database Performance Blog

Transparent HugePages are reputed to cause performance degradation in database applications. Ibrar Ahmed sets out to discover if the rumors have foundation.

21:52пожаловаться #13

сильно страдают машины с несколькими сокетами

21:53пожаловаться #14

СГ

на отдельно выделенном сервере под СУБД я бы вообще настроил настоящие HP, это этого намного больше пользы будет. Но когда сервер используется (через виртуализацию) для разных сервисов, то готов перетерпеть) издержки на THP

21:56пожаловаться #15

СГ

Percona Database Performance Blog

от той же перконы по настоящим HP:
https://www.percona.com/blog/2018/12/20/benchmark-postgresql-with-linux-hugepages/

и эта же статья в переводе:
https://habr.com/ru/company/southbridge/blog/435558/

Benchmark PostgreSQL With Linux HugePages - Percona Database Performance Blog

A review the impact of Linux HugePages settings on the performance of PostgreSQL. Ibrar Ahmed runs some postgres benchmarks to gain some insight.

21:57пожаловаться #16

Percona Database Performance Blog

Сергей Голод

Benchmark PostgreSQL With Linux HugePages - Percona Database Performance Blog

A review the impact of Linux HugePages settings on the performance of PostgreSQL. Ibrar Ahmed runs some postgres benchmarks to gain some insight.

хрень какая-то

21:59пожаловаться #17

особенно вот этот график:
https://www.percona.com/blog/wp-content/uploads/2018/12/clients1-1024x274.png

21:59пожаловаться #18

СГ

https://wiki.postgresql.org/images/7/7d/PostgreSQL_and_Huge_pages_-_PGConf.2019.pdf

22:04пожаловаться #19

СГ

но эта презентация тоже от перконы. так что "ноги растут" из того же тестирования видимо. Других результатов не встречал. самому возможности проверить нет, к сожалению