EK
Тяжелоо обновлять терабайтную базу часто
Size: a a a
2021 March 17
СГ
Тяжелоо обновлять терабайтную базу часто
нет технологического окна?
EK
YS
Тяжелоо обновлять терабайтную базу часто
Хмм? Это дело одной-двух минут, в норме.
YS
нет
Ну ладно, а в логах (на реплике, конечно) что?
Про checkpoints что-то есть?
Про checkpoints что-то есть?
AL
replica
это ключевой момент, это какая-то бага в счетчике, надо искать в -bugs/-hackers рассылках
AL
причем это только на репликах такое поведение
EK
shit
AL
# select now()-stats_reset,checkpoints_timed from pg_stat_bgwriter;
?column? | checkpoints_timed
------------------------+-------------------
3 days 10:19:39.260576 | 18622
вот например у меня за 3 дня, 18k чекпоинтов на совершенно idle реплике на локалхосте)))
EK
Спасибо
YS
это ключевой момент, это какая-то бага в счетчике, надо искать в -bugs/-hackers рассылках
Почему Вы думаете, что это "какая-то бага"?
Не нужно спешить (это вполне может быть совершенно нормальным поведением). ;)
Не нужно спешить (это вполне может быть совершенно нормальным поведением). ;)
AL
я не против, пусть тогда это поведение будет описано в документации
AL
похожая фигня со счетчиками коммитов в pg_stat_database на мастере, они все время потихоньку увеличиваются даже для template1 базы, но допускаю что это сайд-эффект от внутренней деятельности какого-то демона
YS
я не против, пусть тогда это поведение будет описано в документации
Как говорится, инициатива наказуема исполнением — опишите. ;)
Скорее всего (если в логах чисто), происходит вот что: по таймеру начинается restart point (и "засчитывается"), но обнаруживает, что подходящей (новой) записи с primary ещё не пришло — облом. И потом происходит вот это (соответствующий комментарий из checkpointer.c):
Скорее всего (если в логах чисто), происходит вот что: по таймеру начинается restart point (и "засчитывается"), но обнаруживает, что подходящей (новой) записи с primary ещё не пришло — облом. И потом происходит вот это (соответствующий комментарий из checkpointer.c):
/*
* We were not able to perform the restartpoint (checkpoints
* throw an ERROR in case of error). Most likely because we
* have not received any new checkpoint WAL records since the
* last restartpoint. Try again in 15 s.
*/
YS
@evgeny_kuzin : см. https://t.me/pgsql/290671 , кстати.
AL
Yaroslav Schekin
Почему Вы думаете, что это "какая-то бага"?
Не нужно спешить (это вполне может быть совершенно нормальным поведением). ;)
Не нужно спешить (это вполне может быть совершенно нормальным поведением). ;)
я думаю что это бага, ровно потому что в документации поле checkpoints_timed описано как
Number of scheduled checkpoints that have been performed. При этом по факту в логах нет никаких свидетельств о выполняющихся чекпоинтах (при log_checkpoints=on). Поэтому система сама себе противоречит - если чекпоинты есть, то информация о них должна быть и в стате и в логах одновременно.AL
Yaroslav Schekin
Как говорится, инициатива наказуема исполнением — опишите. ;)
Скорее всего (если в логах чисто), происходит вот что: по таймеру начинается restart point (и "засчитывается"), но обнаруживает, что подходящей (новой) записи с primary ещё не пришло — облом. И потом происходит вот это (соответствующий комментарий из checkpointer.c):
Скорее всего (если в логах чисто), происходит вот что: по таймеру начинается restart point (и "засчитывается"), но обнаруживает, что подходящей (новой) записи с primary ещё не пришло — облом. И потом происходит вот это (соответствующий комментарий из checkpointer.c):
/*
* We were not able to perform the restartpoint (checkpoints
* throw an ERROR in case of error). Most likely because we
* have not received any new checkpoint WAL records since the
* last restartpoint. Try again in 15 s.
*/
> по таймеру начинается restart point (и "засчитывается"),
проблема в том что счетчик тикает слишком часто, сильно-сильно чаще чем указано в checkpoint_timeout.
> Как говорится, инициатива наказуема исполнением — опишите. ;)
что именно описать?
проблема в том что счетчик тикает слишком часто, сильно-сильно чаще чем указано в checkpoint_timeout.
> Как говорится, инициатива наказуема исполнением — опишите. ;)
что именно описать?
YS
я думаю что это бага, ровно потому что в документации поле checkpoints_timed описано как
Number of scheduled checkpoints that have been performed. При этом по факту в логах нет никаких свидетельств о выполняющихся чекпоинтах (при log_checkpoints=on). Поэтому система сама себе противоречит - если чекпоинты есть, то информация о них должна быть и в стате и в логах одновременно.Да, это ошибка в документации (checkpoints_timed на самом деле считает, сколько checkpoint начиналось по таймауту).
Так что пишите исправления, если оно Вам надо. ;)
Так что пишите исправления, если оно Вам надо. ;)
YS
> по таймеру начинается restart point (и "засчитывается"),
проблема в том что счетчик тикает слишком часто, сильно-сильно чаще чем указано в checkpoint_timeout.
> Как говорится, инициатива наказуема исполнением — опишите. ;)
что именно описать?
проблема в том что счетчик тикает слишком часто, сильно-сильно чаще чем указано в checkpoint_timeout.
> Как говорится, инициатива наказуема исполнением — опишите. ;)
что именно описать?
Вы поняли, почему он тикает (может тикать) на репликах? Если хотите — опишите это.
EK
Угу, он потом почти сразу дергает pgstat_send_bgwriter();