暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

达梦数据守护集群DMDataWatch搭建

数据库笔记 2021-08-03
679

1.简介

达梦数据守护集群软件(DM Data Watch)是一种集成化的高可靠性解决方案,该方案基于数据库REDO日志,不依赖于第三方软件和存储,用于解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题,提供不间断数据库服务,可同时满足用户对数据安全性和高可用性的要求。数据守护包含的主要部件有:主数据库、备数据库、联机REDO日志系统、本地REDO日志归档服务、实时REDO日志归档服务、REDO日志重做服务、MAL系统、守护进程和监视器。其中,守护进程和监视器是两个独立的工具,其他部件集成在DM8数据库服务器DMSERVER中


2.前提

在搭建数据守护系统前,应注意数据守护系统中各实例使用的 DM 服务器版本应一致,

同时还应注意各实例所在主机的操作系统位数、大小端模式、时区及时间设置都应一致,以及使用同一个用户启动 DM 服务器和守护进程 dmwatcher,以免系统在运行时出现意想不到的错误。


3.环境准备

准备三台机器 DW_P、DW_S1、DW_M,DW_P 和 DW_S1 用来部署主备库,DW_M 用来部署确认监视器。其中 DW_P 和 DW_S1 配置两块网卡,一块接入内部网络交换模块,一块接入到外部交换机,DW_M 接入内部网络。

三台机器都事先安装了 DM(单机安装过程这边不再赘述),安装路径为'/opt/dmdb',执行程序保存在'/opt/dmdb/bin'目录中,

数据存放路径为'/opt/dmdb/data',归档日志路径'/opt/dmdb/arch',从库先不要启动服务



3.1机器规划

角色

IP地址

操作系统

备注

DW_P

10.0.61.186(外部)

192.168.0.186(内部)

麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

主库

实例名:DMNODE1

库名:DMDB

DW_S1

10.0.60.212(外部)

192.168.0.212(内部)

麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

从库

实例名:DMNODE2

库名:DMDB

DW_M

10.0.61.90

麒麟V10

(4.19.90-23.8.v2101.ky10.x86_64)

监视器

实例名:DMNODE3

库名:DMDB


3.2端口规划

实例名

PORT_NUM

MAL_INST_DW_PORT

MAL_HOST

MAL_PORT

MAL_DW_PORT

DMNODE1

5236

33141

192.168.0.186

61141

52141

DMNODE2

5237

33142

192.168.0.212

61142

52142


4.数据守护搭建

4.1 数据准备

配置数据守护 V4.0 之前,必须先通过备份还原方式同步各数据库的数据,确保各数据的数据保持完全一致。主库可以是新初始化的数据库,也可以是正在生产、使用中的数据库。

不能使用分别初始化库或者直接拷贝数据文件的方法,原因如下:

  • 每个库都有一个永久魔数(permenant_magic),一经生成,永远不会改变,主库传送日志时会判断这个值是否一样,确保是来自同一个数据守护环境中的库,否则传送不了日志。

  • 由于 dminit 初始化数据库时,会生成随机密钥用于加密,每次生成的密钥都不相同,备库无法解析采用主库密钥加密的数据。

  • 每个库都有一个数据库魔数(DB_MAGIC),每经过一次还原、恢复操作,DB_MAGIC就会产生变化,需要通过这种方式来区分同一个数据守护环境中各个不同的库。

如果是初始搭建环境,可以通过对主库脱机备份、对备库脱机还原的方式来准备数据,如果主库已经处于运行状态,则可以对主库进行联机备份、对备库脱机还原的方式来准备数据。

本次由于是初始搭建环境,所以采用对主库脱机备份、对备库脱机还原的方式来准备数据

4.1.1 主库脱机备份

1.关闭数据库:


    /opt/dmdb/bin/DmServiceDMDB stop
    复制

    2.进行脱机备份:

      su - dmdba
      /opt/dmdb/bin/dmrman CTLSTMT="BACKUP DATABASE '/opt/dmdb/data/DMDB/dm.ini' FULL TO BACKUP_FILE1BACKUPSET '/opt/dmbak/BACKUP_FILE_01'"
      复制

      3.拷贝备份文件到备库所在机器

      可以通过scp或者ftp工具将备份数据传输到从库/opt下

      4.执行脱机数据库还原与恢复

        su - dmdba
        /opt/dmdb/bin/dmrman CTLSTMT="RESTORE DATABASE '/opt/dmdb/data/DAMENG/dm.ini' FROM BACKUPSET'/opt/dmbak/BACKUP_FILE_01'"
        /opt/dmdb/bin/dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdb/data/DAMENG/dm.ini' FROM BACKUPSET'/opt/dmbak/BACKUP_FILE_01'"
        /opt/dmdb/bin/dmrman CTLSTMT="RECOVER DATABASE '/opt/dmdb/data/DAMENG/dm.ini' UPDATE DB_MAGIC"
        复制

        恢复后不要启动数据库服务


        4.2 配置主库DMNODE1

        4.2.1 修改主库dm.ini

        vim opt/dmdb/data/DMDB/dm.ini

        配置如下:

          INSTANCE_NAME = DMNODE1
          PORT_NUM = 5236 #数据库实例监听端口
          DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
          ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
          ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
          MAL_INI = 1 #打开 MAL 系统
          ARCH_INI = 1 #打开归档功能
          RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
          复制


          4.2.2 修改主库dmmal.ini

          配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致,MAL_HOST 使用内部网

          络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值,MAL_DW_PORT 是各实例

          对应的守护进程之间,以及守护进程和监视器之间的通信端口

          dmmal.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmmal_example.ini

          先将其拷贝至/opt/dmdb/data/DMDB/下,并进行如下配置

          vim opt/dmdb/data/DMDB/dmmal.ini

            MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
            MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
            [MAL_INST1]
            MAL_INST_NAME = DMNODE1 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
            MAL_HOST = 192.168.0.168 #MAL 系统监听 TCP 连接的 IP 地址
            MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
            MAL_INST_HOST = 10.0.61.186 #实例的对外服务 IP 地址
            MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
            MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口
            MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
            [MAL_INST2]
            MAL_INST_NAME = DMNODE2
            MAL_HOST = 192.168.0.212
            MAL_PORT = 61142
            MAL_INST_HOST = 10.0.60.212
            MAL_INST_PORT = 5237
            MAL_DW_PORT= 52142
            MAL_INST_DW_PORT= 33142
            复制



            4.2.3 配置dmarch.ini

            修改 dmarch.ini,配置本地归档和实时归档。

            除了本地归档外,其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时,需

            要同步归档数据的目标实例名。

            当前实例DMNODE1是主库,需要向 DMNODE2(实时备库)同步数据,因此实

            时归档的 ARCH_DEST 配置为 DMNODE2。

            vi opt/dmdb/data/DMDB/dmarch.ini

              [ARCHIVE_REALTIME]
              ARCH_TYPE = REALTIME #实时归档类型
              ARCH_DEST = DMNODE2 #实时归档目标实例名
              [ARCHIVE_LOCAL1]
              ARCH_TYPE = LOCAL #本地归档类型
              ARCH_DEST = opt/dmdb/arch #本地归档文件存放路径
              ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
              ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
              复制


              4.2.4 配置dmwatcher.ini

              修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使用自动切换模式

              dmwatcher.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmwatcher_example.ini

              先将其拷贝至/opt/dmdb/data/DMDB/下,并进行如下配置

              vim opt/dmdb/data/DMDB/dmwatcher.ini

                [GRP1] #守护进程组名
                DW_TYPE = GLOBAL #全局守护类型
                DW_MODE = AUTO #自动切换模式
                DW_ERROR_TIME = 10 #远程守护进程故障认定时间
                INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
                INST_ERROR_TIME = 10 #本地实例故障认定时间
                INST_OGUID = 453331 #守护系统唯一 OGUID 值
                INST_INI = opt/dmdb/data/DMDB/dm.ini #dm.ini 配置文件路径
                INST_AUTO_RESTART = 1 #打开实例的自动启动功能
                INST_STARTUP_CMD = opt/dmdb/bin/dmserver #命令行方式启动
                RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
                RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
                复制


                4.2.5 启动主库

                以 Mount 方式启动主库

                  su - dmdba
                  /opt/dmdb/bin/dmserver opt/dmdb/data/DMDB/dm.ini mount
                  复制

                  PS:一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。


                  4.2.6 设置OGUID

                  启动命令行工具 DIsql,登录主库设置 OGUID 值

                    SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
                    SQL>sp_set_oguid(453331);
                    SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
                    复制

                    PS:系统通过 OGUID 值确定一个守护进程组,由用户保证 OGUID 值的唯一性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。


                    4.2.7 修改数据库模式

                    启动命令行工具 DIsql,登录主库修改数据库为 Primary 模式

                      SQL>alter database primary;
                      复制


                      4.3 配置从库DMNODE2

                      4.3.1 配置dm.ini

                      vim opt/dmdb/data/DMDB/dm.ini

                      配置如下

                        INSTANCE_NAME = DMNODE2
                        PORT_NUM = 5237 #数据库实例监听端口
                        DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
                        ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
                        ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
                        MAL_INI = 1 #打开 MAL 系统
                        ARCH_INI = 1 #打开归档功能
                        RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
                        复制


                        4.3.2 配置dmmal.ini

                        配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致,MAL_HOST 使用内部网

                        络 IP,MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值,MAL_DW_PORT 是各实例

                        对应的守护进程之间,以及守护进程和监视器之间的通信端口

                        dmmal.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmmal_example.ini

                        先将其拷贝至/opt/dmdb/data/DMDB/下,并进行如下配置

                        vim opt/dmdb/data/DMDB/dmmal.ini

                          MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
                          MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
                          [MAL_INST1]
                          MAL_INST_NAME = DMNODE1 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
                          MAL_HOST = 192.168.0.168 #MAL 系统监听 TCP 连接的 IP 地址
                          MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
                          MAL_INST_HOST = 10.0.61.186 #实例的对外服务 IP 地址
                          MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
                          MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口
                          MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
                          [MAL_INST2]
                          MAL_INST_NAME = DMNODE2
                          MAL_HOST = 192.168.0.212
                          MAL_PORT = 61142
                          MAL_INST_HOST = 10.0.60.212
                          MAL_INST_PORT = 5237
                          MAL_DW_PORT= 52142
                          MAL_INST_DW_PORT= 33142
                          复制


                          4.3.3 配置dmarch.ini

                          修改 dmarch.ini,配置本地归档和实时归档。

                          除了本地归档外,其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时,需

                          要同步归档数据的目标实例名。

                          当前实例DMNODE2是主库,守护系统配置完成后,可能在各种故障处理中,DMNODE2 切换为新的主库,正常情况下,DMNODE1 会切换为新的备库,需要向DMNODE1 同步数据,因此实时归档的 ARCH_DEST 配置为 DMNODE1

                          vi /opt/dmdb/data/DMDB/dmarch.ini

                            [ARCHIVE_REALTIME]
                            ARCH_TYPE = REALTIME #实时归档类型
                            ARCH_DEST = DMNODE1 #实时归档目标实例名
                            [ARCHIVE_LOCAL1]
                            ARCH_TYPE = LOCAL #本地归档类型
                            ARCH_DEST = /opt/dmdb/arch #本地归档文件存放路径
                            ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
                            ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
                            复制


                            4.3.4 配置dmwatcher.ini

                            修改 dmwatcher.ini 配置守护进程,配置为全局守护类型,使用自动切换模式

                            dmwatcher.ini模板在/opt/dmdb/samples/ini_script/UTF-8/dmwatcher_example.ini

                            先将其拷贝至/opt/dmdb/data/DMDB/下,并进行如下配置

                            vim /opt/dmdb/data/DMDB/dmwatcher.ini

                              [GRP1] #守护进程组名
                              DW_TYPE = GLOBAL #全局守护类型
                              DW_MODE = AUTO #自动切换模式
                              DW_ERROR_TIME = 10 #远程守护进程故障认定时间
                              INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
                              INST_ERROR_TIME = 10 #本地实例故障认定时间
                              INST_OGUID = 453331 #守护系统唯一 OGUID 值
                              INST_INI = /opt/dmdb/data/DMDB/dm.ini #dm.ini 配置文件路径
                              INST_AUTO_RESTART = 1 #打开实例的自动启动功能
                              INST_STARTUP_CMD = /opt/dmdb/bin/dmserver #命令行方式启动
                              RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
                              RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
                              复制


                              4.3.5 启动从库

                              以 Mount 方式启动主库

                                su - dmdba
                                /opt/dmdb/bin/dmserver /opt/dmdb/data/DMDB/dm.ini mount
                                复制

                                PS:一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动 Open 数据库。


                                4.3.6 设置OGUID

                                启动命令行工具 DIsql,登录主库设置 OGUID 值

                                  SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);SQL>sp_set_oguid(453331);SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
                                  复制

                                  PS:系统通过 OGUID 值确定一个守护进程组,由用户保证 OGUID 值的唯一性,并确保数据守护系统中,数据库、守护进程和监视器配置相同的 OGUID 值。


                                  4.3.7 修改数据库模式

                                  启动命令行工具 DIsql,登录从库修改数据库为 standby模式

                                  如果当前数据库不是 Normal 模式,需要先修改 dm.ini 中 ALTER_MODE_STATUS 值为 1,允许修改数据库模式,修改 Standby 模式成功后再改回为 0。如果是 Normal 模式,请忽略下面的第 1 步和第 3 步

                                    SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1); ----第 1 步
                                    SQL>alter database standby; ----第 2 步
                                    SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0); ----第 3 步
                                    复制


                                    4.4 配置监视器

                                    由于主库和实时备库的守护进程配置为自动切换模式,因此这里选择配置确认监视器。

                                    和普通监视器相比,确认监视器除了相同的命令支持外,在主库发生故障时,能够自动通知

                                    实时备库接管为新的主库,具有自动故障处理的功能。

                                    PS:故障自动切换模式下,必须配置确认监视器,且确认监视器最多只能配置一

                                    dmmonitor.ini的模板在/opt/dmdb/samples/init_scripts/UTF-8/dmmonitor_example.ini

                                    将其拷贝至/opt/dmdb/data/DMDB/下,修改 dmmonitor.ini 配置确认监视器,其中 MON_DW_IP 中的 IP 和 PORT 和dmmal.ini 中的 MAL_HOST 和 MAL_DW_PORT 配置项保持一致

                                      MON_DW_CONFIRM = 1 #确认监视器模式
                                      MON_LOG_PATH = /dm/data/log #监视器日志文件存放路径
                                      MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
                                      MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
                                      MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
                                      [GRP1] #守护进程组名,和dmwatcher.ini中的保持一致
                                      MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值
                                      #以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置
                                      #IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
                                      MON_DW_IP = 192.168.0.186:52141
                                      MON_DW_IP = 192.168.0.212:52142
                                      复制



                                      4.5 启动守护进程

                                      启动各个主从库上的守护进程:

                                        su - dmdba
                                        /opt/dmdb/bin/dmwatcher /opt/dmdb/data/DMDB/dmwatcher.ini
                                        复制

                                        守护进程启动后,进入 Startup 状态,此时实例都处于 Mount 状态。守护进程开始广播自身和其监控实例的状态信息,结合自身信息和远程守护进程的广播信息,守护进程将本地实例 Open,并切换为 Open 状态


                                        4.6 启动监视器

                                        启动监视器:

                                          su - dmdba
                                          /opt/dmdb/bin/dmmonitor /opt/dmdb/data/DMDB/dmmonitor.ini
                                          复制

                                          监视器提供一系列命令,支持当前守护系统状态查看以及故障处理,可输入 help 命令,

                                          查看各种命令说明使用,结合实际情况选择使用。

                                          至此一主一备的实时数据守护系统搭建完毕,在搭建步骤和各项配置都正确的情况下,在监视器上执行 show 命令,可以监控到所有实例都处于 Open 状态,所有守护进程也都处于 Open 状态,即为正常运行状态。

                                          启动后:

                                          PS:如果没有监测到守护进程,则需检查防火墙是否关闭


                                          5 数据守护集群验证

                                          监视器执行show命令检查状态:

                                          登录主库执行:

                                          登陆从库验证:

                                          由此达梦8数据守护集群搭建成功

                                          文章转载自数据库笔记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

                                          评论