CDC实时数据同步的应用场景

CDC实时同步功能是现代数据仓库技术中常见的一种数据同步技术，能够实现实时交互、持续同步、高可用性和高性能的数据传输。

应用场景：

实时数据备份：将源系统的数据实时备份到目标数据系统中，确保数据的实时性和可靠性。

高效数据同步：保证源系统中数据变化及时地同步到目标数据系统中，减少数据同步延迟和数据丢失。

数据异构转换：将不同数据系统之间的数据进行异构转换，实现数据的互通和共享。

数据监管和审计：对数据的改动进行监管和审计，提高数据的安全性和合规性。

ETLCloud CDC 介绍

ETLCloud CDC是一款容易安装易使用的、零代码的CDC实时数据同步工具，ETLCloud CDC具有以下功能特点：

零代码：只需简单配置，无需任何代码即可完成CDC的配置和同步。

实时数据同步：将一个或多个源数据系统的数据实时传输到目标数据系统。

增量数据同步：高效的数据同步方式，可以只同步最新的更新内容，避免全部备份和传输。

数据源类型：ETLCloud CDC支持多种数据源类型的实时同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。

实时数据类型转换：实时将原始数据转换为目标端可以识别的格式，从而保证数据准确性和有效性。

DDL同步： 当源表的DDL发现变更时自动同步目标表的DDL。

断点自动恢复：在传送过程中发生异常时能自动从断点位置重新传送实时数据。

CDC+ETL一体化架构： 通过CDC实时数据流与ETL的结合实现对实时复杂数据的处理需求。

此外，ETLCloud CDC 还具备高可用性、灵活配置、数据安全加密、任务监控等功能，可满足不同场景下企业级应用的要求。

安装部署

3.1安装ETLCloud CDC

步骤1：官网下载linux一键部署包，把一键部署包放到一个目录下解压并进入该目录。

对脚本文件进行赋权

chmod +x restcloud_install.sh

执行脚本

./restcloud_install.sh

等待tomcat启动，当出现这个界面，则restcloud证明启动成功

步骤2：打开浏览器输入{host}/restcloud/admin/login

输入用户名密码: admin/pass

步骤3：登入系统后我们去官网申请sn码

填写好邮箱和对应的机器号，点击验证发送验证邮件然后就会返回申请的序列号到所填写的邮箱

将返回的序列号填好，点击保存，刷新页面进入到首页

步骤4：填写好序列号后, 需要执行下版本更新, 在平台主页选择平台监控 -> 一键备份升级,点击版本更新按钮，重启Tomcat即可。

进入tomcat/bin目录

cd /usr/tomcat/bin

//启动tomcat并打印启动日志

./startup.sh && tail -f ../logs/catalina.out

ETLCloud CDC实时库表同步

步骤1： 启用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中设置相应的参数。

在配置文件中增加如下配置，开启Binlog。

server-id = 123

log_bin = mysql-bin

binlog_format = row

binlog_row_image = full

expire_logs_days = 10

gtid_mode = on

enforce_gtid_consistency = on

修改完配置参数后重启MySQL服务

步骤2： 创建数据监听器

步骤3： 配置数据监听器

在创建数据同步任务后，需要对同步任务进行配置。在这个过程中，您需要指定要同步的表以及数据传输模式。

步骤4： 启动同步任务

完成同步任务的配置后，您需要启动同步任务以开始实时同步数据。在ETLCloud中，可以通过单击“启动”按钮来启动同步任务。

步骤5： 监控同步任务

启动数据同步任务后，可以通过监控面板统计图来了解任务的运行状态、同步量以及异常情况。

使用Navicat查看源表数据（restcloud.test）

使用Navicat查看目标表数据（test.test）

执行插入语句

监控面板统计图

再次使用Navicat查看源表数据（restcloud.test）

目标表数据（test.test）

通过对比发现ETLCloud CDC实时同步功能成功使用。

ETLCloud CDC实时同步功能是一种高效、可靠的数据同步方案，它可以用于实现源数据库和目标数据库之间的实时同步，从而提高数据集成和应用开发的效率。

ETLCloud CDC社区免费版本下载地址：https://www.etlcloud.cn