0

Репликацию настраивал, но "пустых" серверов, без данных. Тут же - терабайт данных в исходном сервере: может какие-то есть осообенности.

Есть PostgreSQL 9.5 и база на нём, размером около 1ТБ. На исходном (Ubuntu 16.04.6 LTS, 192.168.2.1): 9.5.14-0ubuntu0.16.04; на реплике (Ubuntu 18.04.4 LTS, 192.168.2.2): 9.5.23-1.pgdg18.04+1.

Задача: перенести на другой сервер в другой ДЦ.

Ограничения: канал 100 МБит, который нельзя занимать полностью (т.к. репликация будет идти долго).

Принятое решение: сделать сервер-реплику на новом месте и потом реплику перевести в Мастер.

Сделано:

  1. на исходном сервере в добавлены параметры:

     wal_level = hot_standby
     max_wal_senders = 3
     wal_keep_segments = 128
     hot_standby = on
     synchronous_commit = remote_write

    Создан пользователь с правами репликации.

  2. на реплике запущено "стягивание" исходной базы:

    time sudo -u postgres pg_basebackup -P -R -X stream -r 5M -c fast -h 192.168.2.1 -U usereplica -D /pgdata/9.5/data && systemctl start postgresql

Первый раз запускал без старта сервиса postgresql, но когда подключился, то выяснилось, что WAL уже "ушёл": requested WAL segment 000000010000010E00000048 has already been removed.

Т.е. теперь я описываю вторую попытку, в которой специально сразу по завершению стягивания данных запускается реплика.

  1. изначально pg_basebackup писал размер "1005334619 kB", а когда дошло до конца, то стянулось больше (1007193125/1007193125 kB (100%), 1/1 tablespace) - вероятно это накопленные WAL подтянулись.

  2. подключиться к серверу не удалось ("systemctl status postgresql" пишет "Active: active (exited)"):

     sudo -u postgres psql
     psql: FATAL:  the database system is starting up

    На мастере запустился процесс wal_sender, а на реплике wal_receiver - как и должно быть. На мастере

    select * from pg_stat_replication;

    показывает, что реплика есть (и данные *_location обновляются):

    postgres=# select * from pg_stat_replication;
       pid  | usesysid |  usename  | application_name | client_addr | client_hostname | client_port |        backend_start         | backend_xmin |   state   | sent_location | write_location | fl
     ush_location | replay_location | sync_priority | sync_state 
     -------+----------+-----------+------------------+-------------+-----------------+-------------+------------------------------+--------------+-----------+---------------+----------------+----------------+-----------------+---------------+------------
      21307 |  3150825 | usereplica | walreceiver      | 192.168.2.2  |                 |       42164 | 2020-09-22 07:50:40.76162+03 |              | streaming | 110/D068E068  | 110/D068E068   | 110/D068E068   | 110/D068E030    |             0 | async
     (1 row)
  3. дописал в recovery.conf потом ещё пару параметров:

     trigger_file = '/tmp/failover_psql-slave_to_master'
     recovery_target_timeline = 'latest'
  4. в логах такие записи:

     LOG:  database system was shut down in recovery at 2020-09-22 04:46:20 UTC
     LOG:  entering standby mode
     LOG:  redo starts at 110/B70DC680
     LOG:  consistent recovery state reached at 110/B70E5328
     LOG:  invalid resource manager ID 78 at 110/B70E5328
     LOG:  started streaming WAL from primary at 110/B7000000 on timeline 1
     [unknown]@[unknown] LOG:  incomplete startup packet
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     postgres@postgres FATAL:  the database system is starting up
     [unknown]@[unknown] LOG:  incomplete startup packet
     postgres@postgres FATAL:  the database system is starting up

С "incomplete startup packet" понятно: это, вероятно, проверка с Zabbix. А вот "invalid resource manager ID" - мне не понятен.

Как и "почему реплика не работает" (или работает не совсем "как надо").

Я не думаю, что проблема в различиях в минорных версиях. Хотя точно не могу знать.

3
  • synchronous_commit = remote_write - интересно бы знать "зачем" 22 сен 2020 в 8:44
  • Может не так понимаю: по мне это же "для надёжности". Что я не понимаю?
    – Fomalhaut
    22 сен 2020 в 12:00
  • Это для настройки синхронной репликации. При том только половина настройки синхронной репликации. 22 сен 2020 в 12:09

1 ответ 1

0

wal_keep_segments = 128

Мало. Очень мало. Зависит от объёмов записи на primary, конечно. Но это тот буфер, который позволяет хранить больше WAL чем нужно для самой базы и тем самым позволять репликам на некоторое время не забирать WAL, но и быть способными затем подключиться и продолжить работу. Предел в 2гб лаг для террабайтной базы поверх 100мбит сети - это выглядит мало.

изначально pg_basebackup писал размер "1005334619 kB", а когда дошло до конца, то стянулось больше (1007193125/1007193125 kB (100%), 1/1 tablespace) - вероятно это накопленные WAL подтянулись.

Это изменение размера самой базы. basebackup при указании опции вывода прогресса сначала запрашивает посчитать размер datadir, но база же продолжает работать и может увеличиваться.

the database system is starting up

Это нормально. Реплика всегда в состоянии starting up. Начать принимать подключения и выполнять запросы может только если:

  • прошли consistent recovery state - точка, на которую применили WAL больше чем самый новый блок из записанных на момент завершения копирования (или сбоя, что для старта реплики одно и то же) - нужно некоторое время до достижения consistent recovery state reached
  • standby_mode = on в recovery.conf - это сделает pg_basebackup -R и видно по entering standby mode
  • hot_standby = on в конфигурации базы - это вероятно не сделано. В 9.5 было выключено по-умолчанию.

LOG:  invalid resource manager ID 78 at 110/B70E5328
LOG:  started streaming WAL from primary at 110/B7000000 on timeline 1

Несколько смущает, соглашусь, но странное сообщение от startup процесса перед started streaming лишь сигнализирует о том, что завершился последний из сохранённых локально WAL и был он сохранён не полностью - это нормально, pg_basebackup просто прервал его загрузку, будет дозагружен (фактически заново загружен) walreceiver'ом и продолжится восстановление.

Я не думаю, что проблема в различиях в минорных версиях. Хотя точно не могу знать.

Реплика может быть по минорной версии новее мастера. Это рекомендуемый путь для минорных обновлений - сначала обновить реплики, затем мастер. Наоборот тоже возможно, но уже может приводить к неожиданностям.

3
  • Спасибо! Помогло. Много чего исправил, но основное было: > hot_standby = on Я с репликацией в 9 версии почти не сталкивался (а сам - не настраивал) - не знал этих тонкостей. Хотел бы немного обсудить, если можно. > wal_keep_segments = 128 Т.е., если у меня на одном проекте ожидается до 32 Гб (в теории) в сутки, то лучше как спланировать (для суточного лага): - указать: wal_keep_segments = 2048 - как-то по другому, например, через max_wal_size / min_wal_size И как оценить, на какой лаг лучше ориентироваться? Много полезного узнал от вас - ещё раз спасибо. :-)
    – Fomalhaut
    22 сен 2020 в 11:49
  • max_wal_size / min_wal_size - это настройки частоты чекпойнтов. Чекпойнт - это много io (и, к слову, wal после него т.к. работает full page writes). Но редкие чекпойнты надо учитывать, при старте базы после любого сбоя надо будет накатывать много wal. И такой незапланированный рестарт базы может занимать десятки минут. 22 сен 2020 в 12:16
  • Для отставания репликации: wal_keep_segments задирать (учитывайте что они хранятся всегда и нужно для них место на диске), replication slots (учтите, что неактичный слот репликации будет накапливать wal неограниченно вплоть до падения сервера из-за исчерпания всего доступного места. Соответствующая настройка для ограничения этого появилась в pg13 только), либо настраивать архивацию wal (что полезно с т.з. бекапов для pitr - но очень много места) 22 сен 2020 в 12:17

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.