Репликацию настраивал, но "пустых" серверов, без данных. Тут же - терабайт данных в исходном сервере: может какие-то есть осообенности.
Есть PostgreSQL 9.5 и база на нём, размером около 1ТБ. На исходном (Ubuntu 16.04.6 LTS, 192.168.2.1): 9.5.14-0ubuntu0.16.04; на реплике (Ubuntu 18.04.4 LTS, 192.168.2.2): 9.5.23-1.pgdg18.04+1.
Задача: перенести на другой сервер в другой ДЦ.
Ограничения: канал 100 МБит, который нельзя занимать полностью (т.к. репликация будет идти долго).
Принятое решение: сделать сервер-реплику на новом месте и потом реплику перевести в Мастер.
Сделано:
на исходном сервере в добавлены параметры:
wal_level = hot_standby max_wal_senders = 3 wal_keep_segments = 128 hot_standby = on synchronous_commit = remote_write
Создан пользователь с правами репликации.
на реплике запущено "стягивание" исходной базы:
time sudo -u postgres pg_basebackup -P -R -X stream -r 5M -c fast -h 192.168.2.1 -U usereplica -D /pgdata/9.5/data && systemctl start postgresql
Первый раз запускал без старта сервиса postgresql, но когда подключился, то выяснилось, что WAL уже "ушёл": requested WAL segment 000000010000010E00000048 has already been removed.
Т.е. теперь я описываю вторую попытку, в которой специально сразу по завершению стягивания данных запускается реплика.
изначально pg_basebackup писал размер "1005334619 kB", а когда дошло до конца, то стянулось больше (1007193125/1007193125 kB (100%), 1/1 tablespace) - вероятно это накопленные WAL подтянулись.
подключиться к серверу не удалось ("systemctl status postgresql" пишет "Active: active (exited)"):
sudo -u postgres psql psql: FATAL: the database system is starting up
На мастере запустился процесс wal_sender, а на реплике wal_receiver - как и должно быть. На мастере
select * from pg_stat_replication;
показывает, что реплика есть (и данные *_location обновляются):
postgres=# select * from pg_stat_replication; pid | usesysid | usename | application_name | client_addr | client_hostname | client_port | backend_start | backend_xmin | state | sent_location | write_location | fl ush_location | replay_location | sync_priority | sync_state -------+----------+-----------+------------------+-------------+-----------------+-------------+------------------------------+--------------+-----------+---------------+----------------+----------------+-----------------+---------------+------------ 21307 | 3150825 | usereplica | walreceiver | 192.168.2.2 | | 42164 | 2020-09-22 07:50:40.76162+03 | | streaming | 110/D068E068 | 110/D068E068 | 110/D068E068 | 110/D068E030 | 0 | async (1 row)
дописал в recovery.conf потом ещё пару параметров:
trigger_file = '/tmp/failover_psql-slave_to_master' recovery_target_timeline = 'latest'
в логах такие записи:
LOG: database system was shut down in recovery at 2020-09-22 04:46:20 UTC LOG: entering standby mode LOG: redo starts at 110/B70DC680 LOG: consistent recovery state reached at 110/B70E5328 LOG: invalid resource manager ID 78 at 110/B70E5328 LOG: started streaming WAL from primary at 110/B7000000 on timeline 1 [unknown]@[unknown] LOG: incomplete startup packet postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up postgres@postgres FATAL: the database system is starting up [unknown]@[unknown] LOG: incomplete startup packet postgres@postgres FATAL: the database system is starting up
С "incomplete startup packet" понятно: это, вероятно, проверка с Zabbix. А вот "invalid resource manager ID" - мне не понятен.
Как и "почему реплика не работает" (или работает не совсем "как надо").
Я не думаю, что проблема в различиях в минорных версиях. Хотя точно не могу знать.
synchronous_commit = remote_write
- интересно бы знать "зачем"