Ant CDC的整体架构图如下图所示。AntCDC从源数据库获取全量,增量数据,通过转换之后在目标端执行数据回放动作。

主要包含六个大的功能部分: 源端数据捕捉、数据处理转换、数据回放、任务管理、权限管理、监控报表。
- 源端数据捕捉:把源端数据库的数据全量或者增量的组装成统一的数据格式,源端数据捕捉既要处理全量的数据、也要跟踪源端变化的数据处理,不同的数据库使用不同的收集器。
- 数据转换:处理从源端获取到的数据进行处理变换,比如添加字段、修改字段值、删除字段等,并且提供脚本方式配置处理规则。数据处理的动作可以发生在持久化到Kafka之前,也可以发生在目标端从Kafka中获取之后。
- 数据回放:目标端主要接受从Kafka来的数据消息,通过数据的唯一标识符,对数据在目标库上进行重放。重放用的SQL语句根据不同目标库类型的不同而不同。
关于AntDB数据库
电信级核心交易数据库AntDB 数据库始于 2008年,在运营商的核心系统上,为全国 24个省份的 10亿多用户提供在线服务;具备高性能、弹性扩展、高可靠等产品特性,每秒可处理十多万笔核心交易,并保障系统平稳运行超 10年零故障。 AntDB 广泛应用于通信、金融、交通、能源、物联网等多个行业,在 200多个项目上成功落地。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。