【AntDB产品概述】趋势与挑战

Ant CDC 是亚信安慧精心打造的一款高可用、高性能的数据同步复制产品，可以在同构、异构数据库之间全量复制数据，并实时捕获、传递增量事务数据。产品使用断点续传技术，具有部署简单、占用资源少、数据零丢失等技术特点。

趋势与挑战

随着互联网大规模应用对数据库的要求越来越高，企业的数据规模呈指数级上升，传统的数据库已经不能满足业务发展的需求，新一代的分布式数据库逐渐崭露头角，数据库替换的场景越来越多。

传统的数据全量同步通过ETL流程处理完成，全量同步数据时，如果数据量过大，会导致 ETL 流程非常慢。

传统的增量同步用 JDBC 的方式直接连接到数据库进行抽取，会对数据库端带来极大的负载和压力，降低数据库端的稳定性。

为了减少数据同步对生产环境的影响以及增加数据同步的效率，越来越多的厂家采用CDC的机制同步数据，通过不断监控原始数据系统的更改、提取它们并将它们分发到下游系统。Change Data Capture 通过近乎实时地实现数据的增量加载，排除了批量数据加载的过程。

数据同步有几大挑战：

• 安全：数据泄露会给个人，企业甚至国家带来不可估量的损失，数据在同步的过程中要确保数据不被泄露；
• 性能：同步数据包括提取，转换，执行等几个步骤，实效性是数据很重要的一个要素，需要确保在有效的时间内完成数据同步；
• 质量：源库和目标库数据库类型的不一致，支持的数据格式也有所不同，需要确保数据转换之后的有效性，完整性。