Есть сервер (linux suse) на котором установлена СУБД PostgreSQL, подключиться к БД возможно только с использованием ssh. Возникла необходимость автоматического резервного копирования базы данных на другой удаленный сервер (linux centOS). Каким образом лучше всего организовать автоматическое копирование?
-
2pg_dump и cron. – Sergey Gornostaev 25 июн '19 в 9:10
1 ответ
В вопросе бекапа potgresql есть две принципиальные возможности:
Логический бекап
Штатными утилитами pg_dump
и pg_dumpall
. Логический бекап - это текст запросов, которые воссоздадут вашу базу данных. Из чего следует, что это:
- медленное восстановление. Данные будут скопированы довольно быстро, но вот индексы и прочие ограничения будут строиться ничего не зная о том что это бекап и будут проверять действительность ограничений
- восстановление возможно только на момент начала копирования каждой из баз через
pg_dump
(pg_dumpall
вызываетpg_dump
для каждой из баз кластера) - компактно. Обычно заметную часть объёма базы данных занимают индексы. Которые в логическом дампе представлены только командами создания этих индексов. А так же текст хорошо сжимается. Поэтому логический дамп может быть спокойно в 10 раз меньше объёма базы
- можно сохранять только некоторые базы данных, можно не сохранять некоторые таблицы
- текстовый формат
plain
- просто текст запросов, из него данные можно достать хоть текстовым редактором. - форматы
custom
иdirectory
с другой стороны можно восстанавливать параллельно в несколько потоков (аdirectory
и снимать в несколько потоков) - что позволяет сократить время восстановления. А так же из этих форматов можно восстанавливать отдельные объекты базы, например, только одну таблицу.
pg_dump
и pg_dumpall
могут работать по сети. Единственное что необходимо - версия утилиты на бекап-машине должна быть такая же или новее чем на самой СУБД. При том нет ограничения по major версии. pg_dump
версии 11.4 может корректно снимать бекап с версии условно 9.3.12 (и вообще до 7.0 релиза)
Восстанавливать можно так же на разный версиях postgresql.
Физический бекап
Другая возможность - использовать физическую копию базы. pg_basebackup
либо другие её реализации.
- есть возможность выбрать момент, на который восстанавливать базу с точностью до конкретной транзакции. Для этого необходим basebackup снятый до необходимой точки восстановления и непрерывный архив WAL
- такой бекап занимает много места. Если заинтересованы в восстановлении на произвольную точку времени (PitR) - то архив WAL тем более занимает сложно предсказуемый объём
- это копия только всего экземпляра postgresql. Строго все базы с этого экземпляра, ничего исключить нельзя. И объём точно равный объёму базы.
- восстановление представляет собой простое файловое копирование и затем запуск базы. По объёму данных копировать много, но операция простая, в большинстве своём крупными файлами
- однако восстановление в произвольный момент времени требует обработать все WAL от начала basebackup до необходимой точки. И это может быть весьма не быстро
- восстановление возможно только используя ту же самую major версию базы и не ниже того же самого minor релиза
Работать так же может по сети без проблем. Вообще помимо бекапов так ещё реплики поднимают.
Затем владелец базы думает, необходимо ли ему восстановление в произвольную точку времени и готов ли он к такому большому объёму данных в бекапе либо достаточно например ежесуточных логических дампов. Затем определяетесь сколько копий хранить.
Можно использовать оба подхода, например, делать архив WAL глубиной в неделю со снятием basebackup в понедельник/четверг, в субботу делать pg_dump
и хранить логический дамп ещё полгода.
Непосредственно по настройке выбранного плана резервного копирования:
- pg_dump обычно удобно делать просто из крона с отправкой оповещения о ошибках на почту.
- для basebackup вручную собирать корректную процедуру ведения архива не так просто, имеет смысл использовать специализированные системы вроде
wal-g
(крайне прост, если бекапить надо наS3
),pgbackrest
,barman