DM8数据同步工具DMHS同步MySQL至DM8

原创猫瞳映月 2023-04-14

589

1、文档概述

本文档使用测试环境，模拟使用DMHS数据同步工具，实时同步MySQL5.7.38数据至DM8数据库环境中。

2、软件信息

源端数据库及DMHS：MySQL5.7.38 dmhs_V4.3.02_dm8_rev120188_rh6_64_veri_20221209.bin
目标端数据库及DMHS：DM8 dmhs_V4.3.02_mysql5_rev121696_rh6_64_veri_20230105_sp3.bin

3、MySQL数据库环境配置

3.1、配置binlog参数

vim /etc/my.cnf
log-bin=mysql-bin
binlog_format=row
max_allowed_packet=100M


检查确认
show variables like 'log_bin';
show variables like 'binlog_format';
show variables like 'max_allowed_packet';
复制

3.2、创建DMHS用户

CREATE USER 'DMHS'@'%' IDENTIFIED BY 'Dameng123';
GRANT ALL ON *.* TO 'DMHS'@'%';
FLUSH PRIVILEGES;
复制

3.3、创建数据库

CREATE DATABASE DMHS DEFAULT CHARACTER SET utf8;
复制

4、安装unixODBC

4.1、源码安装

tar –xvf unixODBC-2.3.2.tar
cd unixODBC-2.3.2

echo $LANG
en_US.UTF8

#./configure
./configure --enable-drivers=no --with-iconv-char-enc=GB18030 --enable-gui=no --enable-iconv=yes 
make && make install
复制

4.2、配置unixODBC

vim /usr/local/etc/odbc.ini
[MYSQL]
Description = MYSQL ODBC DSN
Driver = MySQL ODBC 5.3 Driver
SERVER = 192.168.0.11
UID = DMHS
PWD = Dameng123

vim /usr/local/etc/odbcinst.ini
[MySQL ODBC 5.7 Driver]
Description = ODBC DRIVER FOR MYSQL
Driver =/usr/lib64/libmyodbc5.so
UsageCount=1

执行查询
#  odbcinst -j
复制

4.3、安装MySQL ODBC

（1）解压文件
tar -zxvf mysql-connector-odbc-8.0.15-linux-glibc2.12-x86-64bit.tar.gz
（2）更改目录
mv mysql-connector-odbc-8.0.15-linux-glibc2.12-x86-64bit /usr/local/mysqlodbc8
（3）将其动态库添加到环境变量中:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mysqlodbc8
复制

5、源端安装DMHS

5.1、安装DMHS软件

[root@localhost ~]# groupadd -g 10001 dinstall
[root@localhost ~]# useradd -u 10001 -g dinstall -m -d /home/dmhs -s /bin/bash dmhs
[root@localhost ~]# passwd dmhs
[root@localhost opt]# chmod +x dmhs_V4.3.02_mysql5_rev121696_rh6_64_veri_20230105_sp3.bin 
[root@localhost opt]# ./dmhs_V4.3.02_mysql5_rev121696_rh6_64_veri_20230105_sp3.bin -i
Extract install files......... 

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:2
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:1
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:1
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件配置助手
4.手册
所需磁盘空间:533 MB
安装目录: [/opt/dmhs]/home/dmhs
该路径不为空,是否继续安装?[Y or N]Y
安装路径可能存在覆盖安装
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:1
正在安装
default start ...    default finished.
server start ...    server finished.
hs_agent start ...    hs_agent finished.
hsca start ...    hsca finished.
doc start ...    doc finished.
postinstall start ...    postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:
主机Ip(外网)[192.168.122.1](192.168.122.1,192.168.188.20):192.168.188.20
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[]:192.168.188.20
内置数据库端口[15236](1000-65535):
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示：此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/usr/local/mysql/bin:/usr/local/mysql/lib
远程控制服务
1.自动
2.手动
启动方式:[2.手动]
正在创建远程控制服务
达梦数据实时同步V4.0安装完成
更多安装信息，请查看安装日志文件:
/home/dmhs/log/install.log

[root@localhost opt]#
复制

5.2、DMHS参数配置

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
        <base>
                <lang>ch</lang>
                <mgr_port>5345</mgr_port>
                <ckpt_interval>45</ckpt_interval>
                <siteid>1</siteid>
                <version>2.0</version>
        </base>
        <cpt>
                <db_type>MYSQL</db_type>
                <db_server>192.168.188.20</db_server>
                <db_port>3306</db_port>
                <db_name>DMHS</db_name>
                <char_code>PG_UTF8</char_code>
                <db_user>DMHS</db_user>
                <driver>MySQL ODBC 5.7 Driver</driver>
                <db_pwd>Dameng123</db_pwd>
                <ddl_mask>op:obj</ddl_mask>
                <arch>
                        <clear_interval>600</clear_interval>
                        <clear_flag>0</clear_flag>
                </arch>
                <send>
                        <ip>192.168.0.12</ip>
                        <mgr_port>5345</mgr_port>
                        <data_port>5346</data_port>
                        <identity>1</identity>
                        <filter>
                                <enable>
                                  <item>DMHS.*</item>
                                </enable>
                        </filter>
                        <map>
                        </map>
                </send>
        </cpt>
</dmhs>
复制

5.3、启动DMHS服务

./dmhs_console
DMHS >  connect
DMHS >  start cpt
复制

6、目的端安装DMHS

6.1、安装DMHS

[root@localhost opt]# chown dmdba:dinstall dmhs_V4.3.02_dm8_rev120188_rh6_64_veri_20221209.bin 
[root@localhost opt]# chmod +x dmhs_V4.3.02_dm8_rev120188_rh6_64_veri_20221209.bin 
[root@localhost opt]# su - dmdba
上一次登录：二 3月 21 18:42:44 CST 2023pts/0 上
[dmdba@localhost ~]$ cd /opt/
[dmdba@localhost opt]$ ./dmhs_V4.3.02_dm8_rev120188_rh6_64_veri_20221209.bin -i
Extract install files..........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:2
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:1
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:2
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件客户端
4.内置数据库
5.实时同步软件配置助手
6.手册
所需磁盘空间:866 MB
安装目录: [/home/dmdba/dmhs]
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:1
正在安装
default start ...    default finished.
server start ...    server finished.
hs_agent start ...    hs_agent finished.
webmanager start ...    webmanager finished.
db start ...    db finished.
hsca start ...    hsca finished.
doc start ...    doc finished.
doc start ...    doc finished.
postinstall start ...    postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:
主机Ip(外网)[192.168.122.1](192.168.122.1,192.168.188.10):192.168.188.10
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[192.168.122.1]:192.168.188.10
内置数据库端口[15236]:
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示：此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/home/dmdba/dmdbms/bin:/usr/local/lib
内置数据库服务
1.自动
2.手动
启动方式:[2.手动]
正在创建内置数据库服务
初始化内置数据库
远程控制服务
1.自动
2.手动
启动方式:[2.手动]
正在创建远程控制服务
web服务
1.自动
2.手动
启动方式:[2.手动]
正在创建web服务
达梦数据实时同步V4.0安装完成
更多安装信息，请查看安装日志文件:
/home/dmdba/dmhs/log/install.log


[dmdba@localhost opt]$
复制

6.2、DMHS参数配置

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
	<base>
		<lang>ch</lang>
		<mgr_port>5345</mgr_port>	
		<chk_interval>2</chk_interval>	
		<ckpt_interval>45</ckpt_interval>
		<siteid>2</siteid>
	</base>
	<recv>
		<data_port>5346</data_port>
		<exec>
			<db_type>dm8</db_type>
			<db_server>192.168.188.29</db_server>
			<db_user>SYSDBA</db_user>
			<db_pwd>SYSDBA</db_pwd>
			<db_port>5236</db_port>
			<db_name></db_name>
			<exec_mode>1</exec_mode>
			<exec_thr>8</exec_thr>
			<exec_sql>1024</exec_sql>
			<exec_trx> 5000 </exec_trx>
			<exec_rows>250</exec_rows>
			<commit_policy>0</commit_policy>
			<exec_policy>2</exec_policy>
			<msg_col_size>8000</msg_col_size>
			<level>0</level>
		</exec>
	</recv>	
</dmhs>
复制

6.3、启动服务

启动DMHS服务
./dmhs_server

启动exec
./dmhs_console
DMHS >  connect
DMHS >  start exec
复制

7、初始化全量装载

7.1、源端初始字典装载

源端进行初始字典装载，在启动目的端DMHS执行服务后，源端启动DMHS管理服务，并使用DMHS控制台工具连接DMHS管理服务，使用COPY命令及DICT装载选项，执行字典装载操作。

./dmhs_console
DMHS >  connect
DMHS >  stop cpt
DMHS >  COPY 0 "sch.name='dmhs'" DICT
复制

7.2、源端初始数据装载

DMHS >  COPY 0 "sch.name='dmhs'" INSERT|THREAD|8
注意：目标端已创建相应表。
复制

7.3、启动源端CPT

DMHS > start cpt
复制

更多学习资料请访问：https://eco.dameng.com

达梦数据库

最后修改时间：2023-04-14 18:03:16

「喜欢这篇文章，您的关注和赞赏是给作者最好的鼓励」

关注作者