Oracle异构数据库迁移实践

英方数据复制 2023-05-31

114

数据库作为信息化业务系统的底层核心，其国产化应用是关键领域信息化系统安全、国家安全的重要保障。数据库异构迁移是行业极具挑战性的工作，技术门槛高，安全性要求强，且实施环境严苛，但异构迁移又是极其常见的应用场景。基于此英方软件采用逻辑层面的语义级复制技术，探索出了一套成熟的异构数据库迁移的方案，供大家参考交流。

NO.1

异构数据库的迁移需求

影响业务安全的系统性风险较多，在特殊的行业，如电力能源、金融业等，防范系统性风险是信息安全的底线，因此监管要求对于数据安全与业务连续性的标准远高于其他行业。当前，为完成信息技术国产化和自主可控进程的目标，许多单位开始按计划分阶段完成核心或边缘系统的国产化迁移工作。以某单位为例，规划在某时间段实现全量数据迁移到国产数据库上，且全部模块在国产化环境平稳运行。

在迁移实践中，团队需要完成某业务系统十几套 Oracle 数据库、数据总量高达近几十 TB 数据的迁移，且须确保迁移完成后数据无错漏、不丢失、严格一致。

根据上述整体建设需求，迁移方案需要满足的四点要求：

（1）须支撑存量数据的迁移，迁移过程中不影响或者尽量小地影响生产运行。

（2）支持存量数据迁移过程中，生产运行不中断，持续产生的增量数据可以实时复制到国产信创数据库上。

（3）支持存量数据与增量数据的迁移可无缝衔接，保证增量数据的迁移无错漏。

（4）迁移后需要进行多层次的数据校验以及数据修复方案，保证数据割接准确无误。

NO.2

基于日志分析的迁移方案

在行业内，CDC是指识别和捕获对数据库中的数据所做的更改（包括数据或数据表的插入、更新、删除等），然后将这些更改按发生的顺序完整记录下来，并实时传送到下游流程或系统的过程。通过这种方式，CDC能够向下游数据库提供高效、低延迟的数据传输。

目前，主流的CDC方案分为三种：

一是基于查询的CDC，需要不断的查询源数据库表中的数据，以获取更改的数据记录；其对生产影响较大。

二是基于触发器的CDC，当业务系统执行插入、更新、删除等SQL时，以激活数据库的触发器，使其对数据记录进行变更捕获，并将数据保存在一个临时表中，最后将变更数据从临时表中抽取出来。

三是基于日志的CDC，当数据库表完成一个新的DML(insert、update、delete)操作后，数据库都会将它实时记录到日志文件中；通过解析数据库操作日志的方式，可以将插入、更新、删除的数据更改操作进行捕获，并发送给下游系统。

结合当前主流的机构生产环境，以及日常大量的技术积累和实践经验，在上述CDC方案的比较过程中，基于日志方式的CDC是目前较为流行的实现方式，其实时性高、无侵入性，对生产影响小，且能将所有的更改捕获实时同步到目标端。

NO.3

异构数据库安全迁移

英方软件基于数据库日志分析与数据共享技术的 i2Stream 产品方案，可以满足行业异构数据库间的库级、schema 级、Table 级的数据同步要求，实现结构化数据的提取、复制、可视化管理等，且能够提供异构数据库的数据比对，严格保障数据一致性。

另外，此方案对生产影响小，并有安全的回退和保障机制，且英方软件团队支持到位，经验丰富，在银行、保险、证券等金融领域和医保大数据平台有广泛的成功应用经验，也能够快速响应项目的现场需求。

在某机构的Oracle数据库迁移过程实践中，项目团队根据现有的生产环境，经过严谨的技术方案研讨和严苛的性能测试，制定了两种稳定可行的部署方案：

方案一：在生产环境迁移部署架构

方案采用分离部署的架构，工作节点机器为 i2Stream 同步主机，通过远程抽取和远程装载的模式进行数据迁移。其中数据源采集节点为 Oracle RAC 备节点，不对业务主库产生影响。且针对不同源的数据库，采用多台同步主机同时进行数据库迁移，提高迁移效率。

方案二：在灾备环境迁移部署架构

方案在灾备环境同样采用分离部署的架构，工作节点机器为 i2Stream 同步主机，通过远程抽取和远程装载的模式进行数据迁移。其中，数据源采集节点为 Oracle ADG 备库，不对业务主库产生影响。且针对不同源的数据库，采用多台同步主机同时进行数据库迁移，提高迁移效率。

NO.4

迁移的挑战与收获

方案的规划实施

Oracle-国产数据库迁移的方案，需要技术人员精通技术和业务特点，在关键环节，可以快速定位表的业务逻辑，避免了技术路线上的失误。迁移过程如下：

第一步：测试验证

在正式生产环境迁移之前，团队制定了严谨科学的迁移方案，并在测试环境和准生产环境，分别做了两轮完整的测试，积累了大量测试数据和经验，并优化了部分迁移措施，找到了可能存在的风险点并逐一解决。

第二步：方案优化

经过前两轮的测试验证，技术团队牵头制定了更加全面的生产环境数据库迁移方案。该方案从产品部署架构、网络需求，数据库版本基线、同步主机的资源配置、迁移规则的划分、性能参数配置、监控方案、数据校验方案、业务验证方案、业务切换方案等做了全面的设计；最后将此方案落地成迁移计划表，分别指定相对模块负责人，每项进度精确到分钟，由英方项目经理每天进行日报汇报，每天中午进行迁移进度交流，及时协调处理迁移过程中出现的问题，此方案为国产化数据库迁移上线提供了强有力的保障。

第三步：迁移实施

根据迁移实施的关键里程碑时间规划，在完成方案可行性论证、灾备环境测试后正式启动生产迁移，并在完成全量数据迁移及检核后，系统正式割接上线。

正式迁移从规定日期的晚上某个时间点开始，同一源库的迁移规则进行串行启动，避免高负载影响生产业务，后续每天晚上同一时间点启动迁移规则，总体迁移耗时天数和总迁移数据量在规划内；后续对每个规则进行数据校验工作。数据校验使用多维度校验，每天进行 count 比对校验，然后在规定的间隔的天数进行一次全量全字段校验，持续校验到项目正式割接上线。

第四步：运维保障

数据校验是迁移后的保障，是数据迁移必不可少的一环。根据现场迁移情况和业务逻辑，经过规划后制定了三个维度的数据比较策略：

（1）每天业务低峰期做 count 比对，保证数据的及时性。

（2）在规划天数内做一次全字段细致比对，确保数据的完整性和准确性。

（3）用户内部做关键表的 count 比对和关键字段的 sum 比对，确保核心业务数据的准确性。

经过多轮的完整数据比对和每天的 count 比对。最终一次性割接成功，两端数据完全一致。

NO.5

结束语

在新的国际形势下，实现关键信息基础设施的自主可控，是电力电信、能源、金融等行业用户摆脱外部技术枷锁，实现安全发展的首要任务。在极端情况，能够安全将数据和业务平滑迁移到国产环境下，是考验团队技术实力和响应能力的关键。英方软件在异构数据库迁移方面，拥有经验丰富的技术服务团队和应用实践，且与国内主流的数据库进行了适配，能够在较短时间内帮助用户实现异构库的成功迁移。相关成功迁移案例，也入选了《中国-上合组织国家数字领域合作案例集（2023）》。

推荐阅读

IDC：英方软件连续六次蝉联国内专业灾备厂商第一

上海创新创业青年50人论坛召开,英方i2UP入选50大创新创业案例

关于英方

英方软件是一家专注于数据复制的基础软件企业(股票代码:688435)，致力于动态文件字节级复制、数据库语义级复制、卷层块级复制及其他信息化技术的研发与推广。产品广泛应用于灾备、数据保护、云数据管理等领域，帮助各类用户打破数据孤岛，实现数据互联互通，为数字经济的发展保驾护航。2023年公司成功登陆上交所科创板，成为国内“数据复制软件第一股”。

公司围绕客户需求持续创新，与合作伙伴开放合作，在金融、党政军、医疗、教育、运营商、能源、制造和互联网等领域构筑了多层次、多策略、全域、全生态的数据管理方案。公司坚持以自主研发的数据复制技术为核心，围绕数据这个新型生产要素所覆盖的应用场景，为用户提供数据安全、混合云灾备、数据库同步、数据迁移、数据副本管理、大数据收集与分发等产品方案，帮助用户从Internet+向Data+转型，让数据赋能用户业务增长。

· 咨询：400-0078-655

· 官网：www.info2soft.com

oracle 异构数据库数据迁移数据库 cdc

文章转载自英方数据复制，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

Oracle异构数据库迁移实践

评论