Телеграмм чат группы pgsql страница 12363

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pgsql – PostgreSQL

5868 membersпожаловаться на группу

2021 March 11

СК

Сергей Кравчук... in pgsql – PostgreSQL

какая-то лютая дичь
разобраться конечно интересно
но я бы переинициализировал базу и работал бы с ней дальше

а поломанную можно забекапить до этого на стенд и поиграться

источник

11:49пожаловаться #1

VY

Victor Yegorov in pgsql – PostgreSQL

Я писал выше, 9.6.9.

вы же осознаёте, что при текущей 9.6.21 у вас там 3 года багфиксов отсутствуют?

источник

11:50пожаловаться #2

IZ

Igor Zinovik in pgsql – PostgreSQL

вы же осознаёте, что при текущей 9.6.21 у вас там 3 года багфиксов отсутствуют?

разумеется

источник

11:50пожаловаться #3

YS

Yaroslav Schekin in pgsql – PostgreSQL

postgresql-staging-gce-sc-2/postgres # SELECT version();
                                               version                                               
-----------------------------------------------------------------------------------------------------
 PostgreSQL 9.6.9 on x86_64-pc-linux-gnu ( ), compiled by gcc (Ubuntu 7.3.0-16ubuntu3) 7.3.0, 64-bit

template0 никто не менял.
Также в логе я вижу вот такие предупреждения:

2021-03-11 08:36:57.456 UTC [21176] ERROR:  found xmin 203019837 from before relfrozenxid 481819908
2021-03-11 08:36:57.456 UTC [21176] CONTEXT:  automatic vacuum of table "template0.pg_catalog.pg_database"
2021-03-11 08:36:57.457 UTC [21176] WARNING:  database "template0" must be vacuumed within 1000000 transactions
2021-03-11 08:36:57.457 UTC [21176] HINT:  To avoid a database shutdown, execute a database-wide VACUUM in that database.
        You might also need to commit or roll back old prepared transactions.

А должно было быть 9.6.21.

Тут похоже на то, что это bug PostgreSQL (что-то мне такое вспоминается) — вот последствия того, что кто-то вовремя не обновляется.
В общем, если там ничего ценного нет, а дампы есть — легче снести этот кластер, обновить PostgreSQL, создать новый кластер и залить дампы.
А иначе Вам дорога в release notes — искать эту ошибку и рекомендации, что с ней делать.

источник

11:51пожаловаться #4

IZ

Igor Zinovik in pgsql – PostgreSQL

Yaroslav Schekin

А должно было быть 9.6.21.

Тут похоже на то, что это bug PostgreSQL (что-то мне такое вспоминается) — вот последствия того, что кто-то вовремя не обновляется.
В общем, если там ничего ценного нет, а дампы есть — легче снести этот кластер, обновить PostgreSQL, создать новый кластер и залить дампы.
А иначе Вам дорога в release notes — искать эту ошибку и рекомендации, что с ней делать.

рестарт кластера может помочь в данной ситуации?

источник

11:52пожаловаться #5

СК

Сергей Кравчук... in pgsql – PostgreSQL

рестарт кластера может помочь в данной ситуации?

святой ребут конечно можно попробовать
но сомнительно что поможет

источник

11:53пожаловаться #6

IZ

Igor Zinovik in pgsql – PostgreSQL

Сергей Кравчук

святой ребут конечно можно попробовать
но сомнительно что поможет

рестарт не помог

источник

11:54пожаловаться #7

VY

Victor Yegorov in pgsql – PostgreSQL

разумеется

1. ставите 9.6.21
2. читаете https://www.postgresql.org/message-id/20180620155148.7smdpcgcp4eh7rzq%40alap3.anarazel.de
3. останавливаете базу, делаете mv $PGDATA/global/pg_internal.init $PGADAT/global/pg_internal.init.bak
4. запускаете базу
5. делаете VACUUM в любой базе.

должно помочь

источник

11:54пожаловаться #8

IZ

Igor Zinovik in pgsql – PostgreSQL

ок, спасибо, мне только для начала надо .deb пакет 9.6.21 собрать под мою убунту

источник

11:55пожаловаться #9

VY

Victor Yegorov in pgsql – PostgreSQL

ок, спасибо, мне только для начала надо .deb пакет 9.6.21 собрать под мою убунту

нахрена? всё давно есть и в стандартных репах, и в PGDG репах: https://wiki.postgresql.org/wiki/Apt

источник

11:56пожаловаться #10

SM

Setplus Mac in pgsql – PostgreSQL

Всем привет. Подскажите, плиз: iotop показывает >90% на диске, вып-ся почти 10 инсёртов в секунду. Как нагрузку на диск снизить? С чего начать?

Может кто помочь разобраться?

источник

12:02пожаловаться #11

SM

Setplus Mac in pgsql – PostgreSQL

Конфиги скинул и параметры скинул

источник

12:02пожаловаться #12

AL

Alexey Lesovsky in pgsql – PostgreSQL

Yaroslav Schekin

Вопрос же не только в этом, а и том, больше это труда или меньше...

Я думаю тут вопрос масштаба.

Приведу пример c Zalando - у них в kubernetes очень большое количество постгресов (десятки сотен) как staging так и разного объема production. Очевидно что задача мажорного обновления возникает регулярно. Так вот от ручного апгрейда они ушли совсем, у них для постгресов собран образ (вроде spilo, но могу и наврать) со всем необходимым инструментарием, в нем работают постгресы. Так вот, при запуске контейнера есть проверка необходимости апгрейда и его запуск если он требуется. Приложения при этом готовы к этому, и просто делают периодческий реконнект.
Я думаю в этом случае, подход со сборкой образа сильно экономит время и затраты труда.

источник

12:02пожаловаться #13

YS

Yaroslav Schekin in pgsql – PostgreSQL

Alexey Lesovsky

Я думаю тут вопрос масштаба.

Приведу пример c Zalando - у них в kubernetes очень большое количество постгресов (десятки сотен) как staging так и разного объема production. Очевидно что задача мажорного обновления возникает регулярно. Так вот от ручного апгрейда они ушли совсем, у них для постгресов собран образ (вроде spilo, но могу и наврать) со всем необходимым инструментарием, в нем работают постгресы. Так вот, при запуске контейнера есть проверка необходимости апгрейда и его запуск если он требуется. Приложения при этом готовы к этому, и просто делают периодческий реконнект.
Я думаю в этом случае, подход со сборкой образа сильно экономит время и затраты труда.

Так всё равно там много нетривиального scripting.
Который, казалось бы, так же получился бы и без kubernetes, нет?

источник

12:07пожаловаться #14

AL

Alexey Lesovsky in pgsql – PostgreSQL

Может кто помочь разобраться?

1. есть ли на это хосте "шумные" соседи, которые могут генерировать нагрузку? например другие службы или контейнеры
2. напишите характеристики системы - количество cpu, объем ram, тип дисков (hdd/ssd)
3. покажите вывод iostat -x -m 1 в момент проблем с производительностью

источник

12:07пожаловаться #15

YS

Yaroslav Schekin in pgsql – PostgreSQL

Конфиги скинул и параметры скинул

Где? И Вам же уже давали советы, кажется — Вы им последовали?

источник

12:08пожаловаться #16

SM

Setplus Mac in pgsql – PostgreSQL

И вот конфиг

max_connections = 200
shared_buffers = 4GB
effective_cache_size = 12GB
maintenance_work_mem = 1GB
checkpoint_completion_target = 0.7
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 4
effective_io_concurrency = 2
work_mem = 5242kB
min_wal_size = 1GB
max_wal_size = 4GB
max_worker_processes = 8
max_parallel_workers_per_gather = 4
max_parallel_workers = 8
max_parallel_maintenance_workers = 4

Вот

источник

12:10пожаловаться #17

AL

Alexey Lesovsky in pgsql – PostgreSQL

Yaroslav Schekin

Так всё равно там много нетривиального scripting.
Который, казалось бы, так же получился бы и без kubernetes, нет?

сложно сказать, я не являюсь сотрудником заландо, и деталей всей кухни не знаю. Наверняка какой-то скриптинг есть, куда без него.
Но, я точно знаю, что kubernetes появился для stateless приложений, и только получив и осознав преимущества эксплуатации stateless в k8s, уже потом появились мысли и попытки поместить туда еще и постгрес и прочий stateful

источник

12:12пожаловаться #18

SM

Setplus Mac in pgsql – PostgreSQL

Выхлоп pg_test_fsync

И вот

источник

12:12пожаловаться #19

AL

Alexey Lesovsky in pgsql – PostgreSQL

И вот

это не совсем то что нужно, это конечно показывает что диски медленные, но не говорит о причинах почему они медленные... надо искать причины. начать следует с оценики работы системы через утилиты top, iostat и изучения окружения (конфигурация железа и настройки системы) где проявляются проблемы

источник

12:15пожаловаться #20