阿里DTS迁移Oracle至Polardb-o过程实录

IT那活儿 2021-08-13

2924

一. 初始化系统脚本

环境准备：

需要⽤户准备可以⼀个可以连接的Mysql5.6、5.7数据库作为元数据库（请把sql_mode设置⾮严格模式），在元数据库内创建好数据库，名称是：dtsdb

初始化DTSP配置：

root用户登陆cd / && mkdir dts上传DTS安装包tar -zxvf dts_poc_v3.7.tar.gz修改dts_init_shell.shmysql数据库IP、用户、密码、端口db_host=192.168.123.123db_user=rootdb_password=rootdb_port=3306dts服务IPdts_console_ip=192.168.123.123

执行命令 source ./dts_init_shell.sh，一定要用source来执行，否则不会生效

执行checkt_dts.sh检查对应的变量是否能获取到

⼆. 开始安装DTS各个组件

1. 安装元数据库

tar -zxvf dts_metadb_v3.7.tar.gz 解压元数据库包cd metadb 进入medadb目录sh init_metadb.sh //初始化元数据库cat start-db.log //查看是否升级成功

2. 安装dts portal 服务

tar -zxvf dts_portal_xxxx.tar.gz 解压portal包cd portal 进⼊portal ⽬录sh ./start_all.sh ps axu |grep amp-schedule 等一会检查进程是否正常

3. 安装dts master 服务

tar -zxvf dts_master_v3.7.tar.gz /解压master包 cd master // 进⼊master⽬录sh start_all.sh // 安装脚本来启动master服务ps axu |grep amp-master.jar // 查看进程是否正常

4. 安装dts proxy 服务

tar -zxvf dts_proxy_v3.7.tar.gz //解压proxy包cd proxy // 进⼊proxy⽬录sh start.sh // 启动proxy服务ps axu |grep proxy.jar // 查看进程是否正常

5. 安装 dts_node服务

tar -zxvf dts_node_xxxx.tar.gz // 解压node包 cd node // 进入node目录sh ./start_all.sh // 安装node服务ps axu |grep node.jar // 查看node进程是否正常

6. 安装 dts numen 服务

tar -zxvf dts_numen_v3.7.tar.gz // 解压numen包cd numen // 进入numen目录sh start.sh // 安装numen服务ps axu |grep dts-op //查看进程是否正常

7. 安装dts tengine 服务

tar -zxvf dts_tengine_v3.7.tar.gz //解压tengine服务包cd tengine //进入tengine目录sh init_tengine.sh // 按照tengine组件tail -f init.log // 查看组件是否安装正常tengine 组件按照完成之后，按照服务cd /dts/tengine //进入到安装目录sh ./start.sh // 进入安装tegine服务ps axu | grep tengine // 查看是否正常

三. 安装ADAM

上传ADAM安装包，解压

tar -zxvf adam-saas-5.0.1.tar.gzcd adam-saas-5.0.1/binsh installADAM.shADAM安装时使用admin用户进行启动cd /home/admin修改parameters.properties配置文件# 数据库地址,使用默认库，不用修改database.url=jdbc:mysql://192.168.123.123:3306database.username=rootdatabase.password=root# 本地文件管理地址及位置，管理地址必改，填写外网实际ip，如:192.168.123.123修改为192.168.0.1adam.local.downloadUrl=http://192.168.123.123:8111/api/file/localDownloadadam.nfs.ip=192.168.123.123# 各服务端口，如端口不冲突可不用修改adam-file-storage-web.server.port=8111adam-eoa.server.port=8080adam-eoa.management.port=7112adam-stand-alone-one.server.port=10081studio-saas-service.server.port=611切换到admin用户执行pwd命令，确认当前用户为admin，当前目录为/home/admin执行sh run.sh init命令，初始化数据库。执行sh run.sh start命令启动ADAM启动时会使用admin用户的sudo -i 权限，需要输入admin密码执行sh run.sh status命令检查ADAM服务是否启动成功

四. 验证ADAM、DTS

1. DTS访问地址http://192.168.123.123:8088/

http://192.168.123.123/

2. ADAM访问地址：http://192.168.123.123:8080/

五. 安装polardb

1. 创建需求操作系统组和用户

执行以下命令，创建polardb 用户组。groupadd polardb执行以下命令，创建polardb 用户。useradd -g polardb polardb执行以下命令，设置polardb用户的密码。passwd polardb若要以polardb这个用户执行下面的文件系统初始化步骤，需要给这个用户赋予sudo权限，使用visudo命令，在sudo文件中，加入下行：polardb ALL=(ALL) ALL

2. 安装PolarDB-O数据库

root用户登陆polardb主机上传rpm包到服务器sudo rpm -i PolarDB-O-0200-2.0.0-20200709.alios7.x86_64.rpm

3. 创建需求操作系统组和用户

执行以下命令，切换到polardb用户。su - polardb执行以下命令，打开bash_profile文件。vi ~/.bash_profile向.bash_profile添加以下内容：export PGPORT=5432export PGDATA=/dataexport LANG=en_US.utf8export PGHOME=/usr/local/polardb_o_currentexport PFSHOME=/usr/local/polarstore/pfsd#export PFSDISK=#export PFSDIR= export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATHexport PATH=$PGHOME/bin:$PFSHOME/bin/:$PATHexport PGHOST=$PGDATAexport PGUSER=polardbexport PGDATABASE=polardb执行以下命令，使环境变量生效：source ~/.bash_profile

4. 修改postgresql.conf配置文件

shared_buffers = 256GBtemp_buffers = 16GBdefault_with_oids = ondefault_with_rowids = onlisten_addresses = '*' port = 5432max_connections = 2048unix_socket_directories = '.'timezone = 'UTC-8'log_timezone = 'UTC-8'log_destination = 'csvlog'logging_collector = onlog_directory = 'polardb_log'polar_enable_shared_storage_mode=offpolar_hostid=1polar_datadir='$PGDATA'polar_disk_name='$PGDATA'#polar_storage_cluster_name=disk启动数据库pg_ctl start -D $PGDATA连接数据库后创建crmhb数据库创建so5用户赋权给so5

六. 数据库画像、评估、结构迁移

1. 数据库画像采集

ADAM可以使用在线画像采集，以下使用离线画像采集

oracle数据库服务中执行采集脚本，生成data.zip文件-- 创建采集用户 eoa_user, 并设置密码为 eoaPASSW0RD create user eoa_user identified by eoaPASSW0RD default tablespace users; ------ 查询权限 grant connect,resource,select_catalog_role,select any dictionary to eoa_user; ------ DBMS_LOGMNR 权限 (版本为 10g 的数据库需要先执行: CREATE OR REPLACE PUBLIC SYNONYM dbms_logmnr FOR sys.dbms_logmnr) grant execute on DBMS_LOGMNR to eoa_user; ------ DBMS_METADATA 权限，查询数据对象 DDL 语句 grant execute on dbms_metadata to eoa_user; ------ 查询事务权限 grant select any transaction to eoa_user; ------ 查询表权限 grant select any table to eoa_user; ------ 分析表权限 grant analyze any to eoa_user; ------ 产生随机编号权限 grant execute on dbms_random to eoa_user;执行采集脚本进行画像采集sh collect_12c.sh -h 192.168.123.123 -P 1521 -u eoa_user -p eoaPASSW0RD -d orcl -s orcl3