数据跨库迁移是数据库运维工作中的一项高频操作业务,安全、稳定、高效的数据迁移可以协助客户从容应对数据库平台切换、应用系统升级以及其他相关需求场景。为此,快立方数据库开发了Qcubic Migrator系列数据迁移工具,可用于Oracle、MySQL等数据库与Qcubic数据库之间的表结构、表数据、存储过程、触发器、序列、包等各类数据对象的迁移,同时还支持增量迁移、周期性迁移、迁移评估、自动告警、迁移验证等高级功能。
下面,以Qcubic Migrator For Oracle为例,介绍一下快立方数据迁移工具的功能及使用。
1
数据库对象迁移
● 全面支持Oracle数据库和Qcubic数据库之间的所有数据库对象及数据的迁移操作,如表结构、表数据、视图、序列、存储过程、触发器、函数、包等的数据迁移。
2
增量数据迁移
● 支持Oracle数据库和Qcubic数据库之间在完成全量数据迁移后新产生的增量数据变化(包括增、删、改)部分内容的自动获取和迁移操作。
3
周期性迁移
● 支持用户手动设置迁移任务和周期性时间,在预置时间点,会自动执行迁移任务。
4
迁移任务的导入导出
● 支持在迁移过程中,对预设的迁移任务导出为数据文件(*.tsk),支持将数据文件(*.tsk)导入到迁移工具,并正常使用迁移。
5
数据过滤和更改
● 支持对迁移数据进行设置过滤和修改,如数据过滤、内容更改、内容截断、空值填充。
6
迁移评估
● 支持在设置好要迁移的数据对象之后,在执行迁移之前,做迁移评估操作,工具会自动对要迁移的数据对象做基本信息展示和是否支持迁移的提示。
7
自动告警
● 支持在数据迁移过程中,对产生的迁移异常发出告警,需在迁移之前进行告警形式设置。工具提供了导出告警信息文档(*.pdf)、以邮箱形式告警、以电话形式告警三种设置。
8
迁移验证
● 支持在数据迁移完成后,对迁移的数据进行验证展示,保证数据的准确性。如数据迁移基本信息、表字段校验、表数据校验、数据对象校验。
数据迁移工具安装部署
步骤一
拷贝Linux版数据迁移工具安装包Installerora2qcb.tar.gz到磁盘上
步骤二
解压压缩包Installerora2qcb.tar.gz
步骤三
解压后执行./Installerora2qcb.run,弹出安装界面,一直点击“下一步”,直至“完成”,快立方数据迁移工具安装完毕
步骤四
安装完成后,通过执行sh ora2qcb.sh可打开快立方数据迁移工具
建立数据库连接
初次访问数据迁移工具界面如下:

进行数据迁移,需要点击连接进行Oracle数据库和Qcubic数据库的连接


● ● ● ● ● ● ●
数据库对象迁移
建立数据库连接之后,可进行迁移操作,选择需要迁移的数据库对象。

选择需要迁移的数据库对象之后,点击“下一步”,在常规设置里可修改数据库对象迁移策略和数据类型转换。
数据库对象迁移策略为当迁移表或对象在目标库中已存在时,执行的对应策略,包含附加数据、删除并插入数据、跳过等。
数据类型转换为工具默认给用户提供的转换项,用户可对转换项进行新增和删减操作,执行操作后需进行转换项验证。

在迁移界面,点击“迁移”,可对所选数据对象进行迁移操作,此界面还包含设置迁移线程数、运行耗时、迁移任务的导入导出、迁移日志的打印等功能。

● ● ● ● ● ● ●
增量数据迁移
在增量迁移界面,先导入之前保存的任务文件,工具会自动检索获取增量数据,然后点击到迁移界面,执行增量数据迁移。

● ● ● ● ● ● ●
周期性迁移
在周期性迁移界面,先进行周期性迁移设置,主要包含起始时间、周期、时间单位、迁移模式、任务文件导入。设置完成后,工具会自动按照迁移配置进行周期性迁移。

● ● ● ● ● ● ●
迁移任务的导入导出
在迁移界面,可以保存迁移任务和导入迁移任务。

点击“保存”,将之前配置的迁移任务保存到文件中,输入文件名,文件类型默认为(*.tsk)。点击“导入”,选择需要导入的任务文件,即可导入任务信息,导入完成后,执行迁移可继续执行该任务。

● ● ● ● ● ● ●
迁移评估
在迁移评估界面,工具会对之前设置的任务做预迁移评估,对可能存在的数据空值和不支持迁移对象给出提示。

● ● ● ● ● ● ●
以上为快立方数据迁移工具部分功能的简要使用方法,更多详细内容可通过工具配套使用说明书了解查看。
快立方数据库针对Oracle和MySQL分别提供了专用的迁移工具,以最大化地适配这两类数据库的各自特性,兼容其90%以上的数据库对象和数据的异构迁移,并以最佳的性能完成数据迁移任务。同时,为了更好地融入国产数据库生态,快立方还针对阿里的开源异构数据源离线同步工具DataX平台开发了Qcubic插件,使得Qcubic不但可以与OceanBase、KingBase、达梦等国产数据库之间进行方便地数据流转,而且几乎与当前各类流行的数据库如RDBMS类(如PostgreSQL、SQLServer、DRDS)、NoSQL类(如Hbase、MongoDB),甚至无结构化数据(如FTP、HDFS)等各种异构数据源之间实现稳定高效的数据同步功能。