Описание

В данной инструкции описываются настройки кластера Postgres , обработка событий падения нод с помощью службы repmgr, настройка pbgouncer и автоматическая замена файла настроек, а также смена ip-адреса при падении одного из балансировщика pgbouncer .

Рабочие директории :

Установка  и настройка repmgr и postgres

1. Добавить репозиторий postgres на всех нодах

   sudo yum -y install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

2. Установить дополнительные пакеты

   sudo yum -y install epel-release yum-utils
   sudo yum-config-manager --enable pgdg12

3. На всех ноды кластера установить следующие компоненты

   sudo yum install postgresql12 postgresql12-server repmgr_12
   sudo /usr/pgsql-12/bin/postgresql-12-setup initdb

4. Создать  директорию и файл для логов утилиты repmgr и дать права пользователю postgres на всех нодах:

   mkdir /var/log/postgresql/
   
   nano /var/log/postgresql/repmgrd.log -> Сохраняем пустой файл.
   
   chown postgres:postgres -R /var/log/postgresql

5. Редактируем pg_hba.conf на обоих нодах  по пути /var/lib/pgsql/12/data/pg_hba.conf 

   pg_hba.conf

   # TYPE  DATABASE        USER            ADDRESS                 METHOD
   
   # "local" is for Unix domain socket connections only
   local   all             all                                     trust
   # IPv4 local connections:
   host    all             all             all            trust
   # IPv6 local connections:
   host    all             all             ::1/128                 trust
   # Allow replication connections from localhost, by a user with the
   # replication privilege.
   local   replication     all                                     peer
   host    replication     all             0.0.0.0/4            trust
   host    replication     all             c7node1                 trust
   host    replication     all             c7node2                 trust
   
   

6. Редактируем файл postgres.conf по пути /var/lib/pgsql/12/data/postgres.conf

   postgresql.conf

   listen_addresses = '*'
   include 'postgresql.replication.conf'

   
   

   
   

7. Создаем файл /var/lib/pgsql/12/data/postgresql.replication.conf на node1

   postgresql.replication.conf

   wal_level = replica
   max_wal_senders = 10
   max_replication_slots = 10
   hot_standby = on
   wal_log_hints = on
   archive_mode = on
   archive_command = '/bin/true'

8. На одном из серверов  создаем базу данных:

   sudo -u postgres psql
   
   
   
   CREATE user repmgr password 'repmgr';
   CREATE DATABASE repmgr OWNER repmgr;
   ALTER USER repmgr WITH SUPERUSER;
   ALTER USER repmgr SET search_path TO repmgr, "$user", public;
   
   \q

9. Создаем файл repmgr.conf в директории /opt/repmgr/ на обоих серверах. Выдаем права пользователю postgres на всю папку. В параметре node_name  и в conninfo указываем hostname каждого сервера. 

   mkdir /opt/repmgr
   nano /opt/repmgr/repmgr.conf

   Server1

   repmgr.conf

   node_id=1
   priority=100
   monitor_interval_secs = 2
   connection_check_type = 'ping'
   reconnect_attempts = 4
   reconnect_interval = 5
   node_name='c7node1'
   conninfo='host=c7node1 user=repmgr dbname=repmgr connect_timeout=2'
   data_directory='/var/lib/pgsql/12/data/'
   log_level='INFO'
   use_replication_slots=true
   monitoring_history=yes
   pg_bindir='/usr/pgsql-12/bin/'
   
   service_start_command   = 'sudo systemctl start postgresql-12'
   service_stop_command    = 'sudo systemctl stop postgresql-12'
   service_restart_command = 'sudo systemctl restart postgresql-12'
   service_reload_command  = 'sudo systemctl reload postgresql-12'
   #service_promote_command = 'pg_ctl  -w -D /var/lib/pgsql/12/data/  promote'
   promote_check_timeout = 15
   
   failover=automatic
   promote_command='/usr/pgsql-12/bin/repmgr standby promote -f /opt/repmgr/repmgr.conf --log-to-file'
   follow_command='/usr/pgsql-12/bin/repmgr standby follow -f /opt/repmgr/repmgr.conf --log-to-file --upstream-node-id=%n'
   repmgrd_service_start_command='sudo /bin/systemctl start repmgr-12'
   repmgrd_service_stop_command='sudo /bin/systemctl stop repmgr-12'
   
   
   log_file='/var/log/postgresql/repmgrd.log'

   Server2

   repmgr.conf

   node_id=2
   priority=80
   node_name='c7node2'
   monitor_interval_secs = 2
   connection_check_type = 'ping'
   reconnect_attempts = 4
   reconnect_interval = 5
   conninfo='host=c7node2 user=repmgr dbname=repmgr connect_timeout=2'
   data_directory='/var/lib/pgsql/12/data/'
   log_level='INFO'
   use_replication_slots=true
   monitoring_history=yes
   pg_bindir='/usr/pgsql-12/bin/'
   
   service_start_command   = 'sudo systemctl start postgresql-12'
   service_stop_command    = 'sudo systemctl stop postgresql-12'
   service_restart_command = 'sudo systemctl restart postgresql-12'
   service_reload_command  = 'sudo systemctl reload postgresql-12'
   #service_promote_command = 'sudo /usr/bin/pg_ctlcluster 10 main promote'
   #promote_check_timeout = 15
   
   failover=automatic
   promote_command='/usr/pgsql-12/bin/repmgr standby promote -f /opt/repmgr/repmgr.conf --log-to-file'
   follow_command='/usr/pgsql-12/bin/repmgr standby follow -f /opt/repmgr/repmgr.conf --log-to-file --upstream-node-id=%n'
   repmgrd_service_start_command='sudo /bin/systemctl start repmgr-12'
   repmgrd_service_stop_command='sudo /bin/systemctl stop repmgr-12'
   
   log_file='/var/log/postgresql/repmgrd.log'

   chown postgres:postgres -R /opt/repmgr

   Далее действия выполняются под пользователем postgres.

10. Выполняем регистрацию Server1 в качестве Master

    /usr/pgsql-12/bin/repmgr -f /opt/repmgr/repmgr.conf primary register

11. Выполняем регистрацию Server2 в качестве Slave . Перед этим - выключаем службу postgresql-12 если она запущена

    rm -Rf /var/lib/pgsql/12/data/
    
    /usr/pgsql-12/bin/repmgr -h c7node1 -U repmgr -d repmgr -f /opt/repmgr/repmgr.conf standby clone --dry-run
    
    /usr/pgsql-12/bin/repmgr -h c7node1 -U repmgr -d repmgr -f /opt/repmgr/repmgr.conf standby clone
    
    systemctl start postgresql-12
    
    /usr/pgsql-12/bin/repmgr -f /opt/repmgr/repmgr.conf standby register

12. Проверяем состояние кластера

    /usr/pgsql-12/bin/repmgr -f /opt/repmgr/repmgr.conf cluster show

13. Добавляем пользовать postgres в sudoers

    Defaults:postgres !requiretty
    %postgres ALL=(ALL)NOPASSWD:/bin/systemctl start postgresql-12,/bin/systemctl stop postgresql-12,/bin/systemctl restart postgresql-12,/bin/systemctl reload postgresql-12,/bin/systemctl start repmgr-12,/bin/systemctl stop repmgr-12
    
    

14. Проверяем работу переключения нод.
    Принудительно отключаем службу postgres на Server1.
    

    sudo systemctl stop postgresql-12

     

15. На node2 под пользователем postgres выполняем команду и проверяем, что node2 стала Master ( Primary)

    /usr/pgsql-12/bin/repmgr standby promote -f /opt/repmgr/repmgr.conf

16. Переходим обратно на Server1.
    Под пользователем postgres произведем подключение ноды к кластеру, сделав данную ноду Slave'ом ( StandBy)

    repmgr -f /opt/repmgr/repmgr.conf node rejoin --force-rewind -d 'host=c7node2 dbname=repmgr user=repmgr'

17. Запускаем службу postgres на Server1

    sudo systemctl start postgresql-12

Настройка SSH между серверами

Действия выполняются под пользователем postgres

1. Генерируем ключ на обоих серверах
   

   ssh-keygen -t rsa

2. копируем содержимое из файла с серверов

   cat /var/lib/pgsql/.ssh/id_rsa.pub

3. На обоих серверах создаем файл под пользователем postgres и дублируем содержимое из id_rsa.pub

   nano /var/lib/pgsql/.ssh/authorized_keys

   Пример содержимого файла

   ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDeutr7h4ZfplM+mRjJY0iB6y1vwtpFgh6LoJSs50sDzzSbvIe61NOOb3dO+wQybBMNNnm8eGfTKOUniEn0PTGGbLt/s2mQous43zu0YiYaGlXk+IPJZzHU6lyWVp4/mcVKOEKKOjZnGeVP8tVMmWNMlZ26EEMPFOLt73ExyL585+NJzulFDCoZqWJETx9cQc4jRC7kzZpYe5N2Mvb3pWW7FBd5/0gZ2vUHlnvCka083IMwdKgvGXCBUNFqrxHR+5jljmBrg6t2lCP5bsrCl3Iya3mwi56zAusBdkUpxwuiehpn5eg0tY3olW+Qdtf7zygqFCwPFvaXDadldGNAyqw3 postgres@c7node1
   
   ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDNSIuc3DaEfFb9w7hSI97ANqtYf2QncWPpVV9Ycsemgxz2SleqhFiiCAM+NLRhnl92uwRlgEDPvUrIz+EVtwOAabqr/Iy2BtQ1cjLQYUnRTXUezkaKelpY0lcB4HEXxiXzYnh+qsihFx14LCFjGkEnqfC5AmLlua4bQlskRgeEpJdnjDDndQqGu5O/cWIMKd9e/5m+qDEiAklnVFji5rSjgVz1MsK70oZQ4Y5YOaVetnkPpM6IraiMDVjIIcUtbwzfbZnPoGkx7qjphmXzrLc6/oKSeMHpQv3BF+8Ci8i910rFyy1AgZz/yBX+NmX3//ZSk0N2hPdZ1pPuTZz8DSI/ postgres@c7node2

Repmgr Service

Служба repmgr предназначена для автоматического переключения нод в кластере в режиме failover cluster.

1. Под пользователем root добавляем службу в автоматический запуск на обоих серверах:

   systemctl enable repmgr-12

2. Меняем настройки службы в части подстановки конфигурационного файла repmgr.conf в настройке Environment=REPMGRDCONF или указав полный путь до файла в ExecStart

   nano /usr/lib/systemd/system/repmgr-12.service

   # It's not recommended to modify this file in-place, because it will be
   # overwritten during package upgrades.  If you want to customize, the
   # best way is to create a file "/etc/systemd/system/repmgr.service",
   # containing
   #       .include /lib/systemd/system/repmgr.service
   #       ...make your changes here...
   # For more info about custom unit files, see
   # http://fedoraproject.org/wiki/Systemd#How_do_I_customize_a_unit_file.2F_add_a_custom_unit_file.3F
   
   [Unit]
   Description=A replication manager, and failover management tool for PostgreSQL
   After=syslog.target
   After=network.target
   After=postgresql-12.service
   
   [Service]
   Type=forking
   
   User=postgres
   Group=postgres
   
   # PID file
   PIDFile=/run/repmgr/repmgrd-12.pid
   
   # Location of repmgr conf file:
   Environment=REPMGRDCONF=/etc/repmgr/12/repmgr.conf
   Environment=PIDFILE=/run/repmgr/repmgrd-12.pid
   
   # Where to send early-startup messages from the server
   # This is normally controlled by the global default set by systemd
   # StandardOutput=syslog
   ExecStart=/usr/pgsql-12/bin/repmgrd -f /opt/repmgr/repmgr.conf -p ${PIDFILE} -d --verbose
   ExecStop=/usr/bin/kill -TERM $MAINPID
   ExecReload=/usr/bin/kill -HUP $MAINPID
   
   # Give a reasonable amount of time for the server to start up/shut down
   TimeoutSec=300
   
   [Install]
   WantedBy=multi-user.target

3. Выполняем команду на обоих серверах

   systemctl daemon-reload

4. Создаем директорию, назначаем владельца postgres

   cd /run
   mkdir repmgr
   chown postgres:postgres repmgr

5. Добавляем в файл /var/lib/pgsql/12/data/postgresql.conf следующую строку и перезапускаем служьу postgres
    

   shared_preload_libraries = 'repmgr'

   service postgresql-12 restart

   
   

6. Под пользователем postgres проверяем, все ли готово к запуску службы. Если уже существует запущенный процесс DETAIL: repmgrd PID is 23197, удаляем его, например kill 23197
   
   

   /usr/pgsql-12/bin/repmgr -f /opt/repmgr/repmgr.conf daemon start --dry-run