Size: a a a

pgsql – PostgreSQL

2021 March 17

G

Gopneg in pgsql – PostgreSQL
Yaroslav Schekin
<troll>
Скажите, а Вы в самом деле использовали эксклюзивные backups до этого момента?
Если да, то проблема действительно "не в бобине", а в "магнитофоне", который её читал.
</troll>

Ну и, кроме шуток, Вы послушайте https://t.me/pgsql/290531 — документация действительно неполна в этом месте, я практически уверен. :(
что не так с эксклюзивным бакупом?
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
Gopneg
что не так с эксклюзивным бакупом?
как минимум три лишних телодвижения, вместо одной команды
источник

G

Gopneg in pgsql – PostgreSQL
комлюхтер железный, не надорвется от трех
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Gopneg
что не так с эксклюзивным бакупом?
Прямо из TFM:

Note
The exclusive backup method is deprecated and should be avoided. Prior to PostgreSQL 9.6, this was the only low-level method available, but it is now recommended that all users upgrade their scripts to use non-exclusive backups.

Если интересует, что с ним конкретно не так — почитайте там. Или просто попробуйте "пристрелить" кластер (kill -9 / immediate shutdown), на котором выполняется exclusive backup — "сюрприз будет".
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Alexey Lesovsky
как минимум три лишних телодвижения, вместо одной команды
Плюс скриптоложество и рукоблудство для архивирования и сжатия, которые для pg_basebackup запилены в ключи командной строки.
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Yaroslav Schekin
Прямо из TFM:

Note
The exclusive backup method is deprecated and should be avoided. Prior to PostgreSQL 9.6, this was the only low-level method available, but it is now recommended that all users upgrade their scripts to use non-exclusive backups.

Если интересует, что с ним конкретно не так — почитайте там. Или просто попробуйте "пристрелить" кластер (kill -9 / immediate shutdown), на котором выполняется exclusive backup — "сюрприз будет".
Правды и истЕны для, таки бекап в немонопольном режиме таки имеет место быть.
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
Gopneg
комлюхтер железный, не надорвется от трех
чем сложнее процедура, тем больше риск что в ней что-то пойдет не так...
первая команда обломилась? что делать? продолжать или повторить или завершить работу, + выполнить чистку уже сделанной работы...
а если вторая обвалилась? (нету рсинка в системе, неверные флаги и т.п), а третья?
источник

G

Gopneg in pgsql – PostgreSQL
Yaroslav Schekin
Прямо из TFM:

Note
The exclusive backup method is deprecated and should be avoided. Prior to PostgreSQL 9.6, this was the only low-level method available, but it is now recommended that all users upgrade their scripts to use non-exclusive backups.

Если интересует, что с ним конкретно не так — почитайте там. Или просто попробуйте "пристрелить" кластер (kill -9 / immediate shutdown), на котором выполняется exclusive backup — "сюрприз будет".
какие-то детские болезни ей богу... ну штош, значит будем не эксклюзивный пилить
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Михаил Шурутов
Правды и истЕны для, таки бекап в немонопольном режиме таки имеет место быть.
В смысле? Вроде бы, @Gopnegg не писал, что они используют именно его?
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Михаил Шурутов
Правды и истЕны для, таки бекап в немонопольном режиме таки имеет место быть.
А, увидел, человек использует эксклюзивный бекап. Ну пусть использует.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Gopneg
какие-то детские болезни ей богу... ну штош, значит будем не эксклюзивный пилить
Вот потому-то и не стоит велосипеды изобретать — можно крупно "влететь" (т.е. Вы зря игнорируете то, что Вам тут советуют насчёт готовых решений — это далеко не единственный "подводный камень").
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Gopneg
что не так с эксклюзивным бакупом?
Начиная с "Low Level API". Когда я вижу эту аббревиатуру, вспоминаю, сколько мне всякого, использующего низкоуровневый API приходилось переделывать, по причине изменения этого самого API.
источник

VY

Victor Yegorov in pgsql – PostgreSQL
Михаил Шурутов
700 ГБ - это совсем не впечатляющий объём БД. И эксперимент - он таки нужен, при любых раскладах. Вот вам для затравки: https://ru-postgres.livejournal.com/66359.html
ЗЫ. pg_basebackup умеет в сжатие и выкачивать все необходимые WAL-ы, чтобы инстанс взлетел после восстановления в консистентном состоянии
по статье есть комментарии:
- нету важной опции шифрования в табличке (pg_probackup не умеет, wal-* только через GPG)
- проверка бэкапа подразумевает разные вещи: где-то это проверка контрольных сумм, а где-то проверка бэкапа и наличия нужных для него сегментов в архиве
- для инкрементальных бэкапов, backrest на уровне сегментов (1GB) это делает, pg_probackup на уровне страниц (8KB)

также есть такая вещь, как Streaming backup, или через протокол репликации. из списка pg_probackup точно умеет, backrest и wal-e — нет
источник

G

Gopneg in pgsql – PostgreSQL
ну блеа, там коннект надо держать и копировать файлы при этом

это придется из постгре вызывать скрипт копирования, чот совсем уныло

чо там говорите с пайпами pg_basebackup в 7зип есть? %)
источник

AL

Alexey Lesovsky in pgsql – PostgreSQL
Gopneg
ну блеа, там коннект надо держать и копировать файлы при этом

это придется из постгре вызывать скрипт копирования, чот совсем уныло

чо там говорите с пайпами pg_basebackup в 7зип есть? %)
> ну блеа, там коннект надо держать и копировать файлы при этом

комлюхтер железный, не надорвется

> чо там говорите с пайпами pg_basebackup в 7зип есть?

примерно так, но лучше проверить в доке
pg_basebackup --format=tar -D -
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Victor Yegorov
по статье есть комментарии:
- нету важной опции шифрования в табличке (pg_probackup не умеет, wal-* только через GPG)
- проверка бэкапа подразумевает разные вещи: где-то это проверка контрольных сумм, а где-то проверка бэкапа и наличия нужных для него сегментов в архиве
- для инкрементальных бэкапов, backrest на уровне сегментов (1GB) это делает, pg_probackup на уровне страниц (8KB)

также есть такая вещь, как Streaming backup, или через протокол репликации. из списка pg_probackup точно умеет, backrest и wal-e — нет
Забросил ответ в избранное, всё равно надо табличку редактировать. wal-g, например, включать в рассмотрение.
По поводу инкрементального бекапа: Инкрементальный, дифференциальный бекап - pg_probackup умеет в бекап на уровне страниц, а не на уровне файлов, как остальные (в документации по wal-e данная возможность не обнаружена).
источник

G

Gopneg in pgsql – PostgreSQL
там еще ограничения про то что бы таблейспейсов не было... чот я вот даже не знаю, а вдруг будут, опять перделывать %)
источник

G

Gopneg in pgsql – PostgreSQL
Alexey Lesovsky
> ну блеа, там коннект надо держать и копировать файлы при этом

комлюхтер железный, не надорвется

> чо там говорите с пайпами pg_basebackup в 7зип есть?

примерно так, но лучше проверить в доке
pg_basebackup --format=tar -D -
я скрипт надорвусь писать, надо было сразу на шарпике писать, а не на поше %)
источник

VY

Victor Yegorov in pgsql – PostgreSQL
Михаил Шурутов
Забросил ответ в избранное, всё равно надо табличку редактировать. wal-g, например, включать в рассмотрение.
По поводу инкрементального бекапа: Инкрементальный, дифференциальный бекап - pg_probackup умеет в бекап на уровне страниц, а не на уровне файлов, как остальные (в документации по wal-e данная возможность не обнаружена).
> По поводу инкрементального бекапа…

угу. я бы вместо Yes написал бы 1GB или 8KB в табличке.
источник

МШ

Михаил Шурутов... in pgsql – PostgreSQL
Victor Yegorov
> По поводу инкрементального бекапа…

угу. я бы вместо Yes написал бы 1GB или 8KB в табличке.
Я думаю более информативно будет "файл-сегмент" или "страница".
источник