阿里云基于 Flink CDC 的现代数据栈云上实践

Flink 中文社区 2025-02-20

105

摘要：本文来自阿里云高级开发工程师，Apache Flink Committer 阮航老师分享的阿里云基于 Flink CDC 的现代数据栈云上实践。主要分为以下四个内容：

基于 Flink CDC 的现代数据栈
CDC YAML 核心功能
CDC YAML 典型应用场景
Demo & 未来展望

Tips：点击「阅读原文」基于 Flink CDC 的企业级实时数据同步方案～

基于 Flink CDC 的现代数据栈

1. Flink CDC 简介

Flink CDC 是一款用于处理流批数据的分布式数据集成工具，通过 YAML 格式描述数据传递和转换过程以简化数据集成工作。

2. 现代数据栈概述

现代数据栈是一种技术组合，旨在对原始数据进行采集、转换和存储。与传统的 ETL 不同的是，现代数据栈直接将数据同步并存储到目标系统中，随后根据需要进行转换，避免了不必要的重复处理。这不仅提高了效率，还减少了数据冗余，尤其是在云环境中，能够充分利用弹性扩缩容的优势。

3. 阿里云基于 Flink CDC 的现代数据栈实践

阿里云在其现代数据栈实践中，不仅完全兼容 Flink CDC 社区版的所有功能，还在以下几个方面进行了扩展：

Source 层：增加了基于日志的整库同步功能，如 MySQL binlog 到 Kafka 的日志同步。
Extract & Load 层：支持通过 Flink CDC 作业、DataStream 作业及 SQL 作业等多种方式收集数据。
Warehouse 层：除了常见的 Paimon、StarRocks 等数据库外，还集成了 Hologres 这样的高性能数据存储。
Transform 层：利用 Spark 或 Flink 作业实现数据转换，应用于报表分析、实时大屏展示等多种场景。

4. 实时计算 Flink 版集成 Flink CDC

实时计算 Flink 版集成 Flink CDC 提供数据摄入功能，用于处理数据同步场景，提供了以下功能支持：

支持 YAML 语言开发，预制常用模板：允许用户使用 YAML 格式快速配置和开发数据同步任务。且提供了多种常用模板，如 MySQL 到 Paimon 、MySQL 到 StarRocks 等，便于快速启动项目。
自动识别连接器依赖：自动处理 Flink 作业所需的上下游 Connector 依赖项，避免了用户在提交 Flink CDC 作业时需要自行管理这些依赖的问题，简化了作业部署流程。
丰富的监控指标：增加了额外的性能和状态监控指标，帮助用户更好地理解作业运行情况。

另外支持多条同步链路、作业全生命周期管理、支持 CDC YAML 作业版本管理。

CDC YAML 核心功能

1. 支持的同步链路

阿里云集成的 Flink CDC 支持多种同步链路，具体包括：

Source 端：MySQL 、Kafka
Sink 端：
常见的数据仓库如 Paimon、StarRocks 和 Hologres。
支持了整库同步 Kafka。
原始 binlog 同步 Kafka 的解决方案。

2. Transform 与 Route

Transform 模块：
支持常见的计算列和元数据列添加（如 DATABASE、TABLE 等）。
提供丰富的内置函数，并支持用户定义 UDF（自定义函数）进行复杂计算。
对 Flink ScalarFunction 函数进行了兼容，简化了开发过程。
支持指定分区键或主键等下游存储所需的特定信息，以及对数据进行过滤和列裁剪。
Route 模块：
指定源到目标的映射关系支持一对一指定下游表名。
指定源到目标的映射关系支持多对一的映射，常用于分库分表合并的场景。
提供模式（Pattern）功能，允许批量定义下游表名，方便管理和展示。

3. 监控指标

（1）全量进度状态：

isSnapshoting：判断作业是否处于全量读取阶段。
isBinlogReading：判断作业是否处于增量读取阶段。
Num of Remaining Tables、Num of Snapshotted Tables ：全量阶段未处理和已处理表数量。
Num of Remaining SnapshotSplits、Num of Processed SnapshotSplits ：全量阶段未处理和已处理分片数量。

（2）数据相关指标：

时间方面指标：
currentReadTimestampMs：最新读取到的数据时间戳，帮助了解数据同步延迟。
currentFetchEventTimeLag：常见 LAG 指标，衡量数据从源到目标的延迟。
数据量指标：
numRecordsln：读取过程中的总数据量。
numRecordslnPerTable：每个表读取到数据量。
numSnapshotRecords、numSnapshotRecordsPerTable：对全量阶段读取的数据进行统计，便于数据审计和验证数据完整性。

4. 其他功能

细粒度 Schema 变更策略：用户可以根据需求选择是否同步特定类型的变更操作（如 DELETE、DROP TABLE 等），避免不必要的数据操作影响下游系统。
支持同步更多变更类型：支持更多类型的变更，包括以前不被支持的操作（如 truncate table）
变更宽容模式支持
支持原始 Binlog 数据同步：支持将上游数据库的原始 Binlog Changelog 同步到下游系统，如 Kafka，以便于进一步处理。

5. YAML 与 SQL 比较

Schema 自动识别：
CDC YAML：用户无需手动定义 schema，系统通过数据中的消息或强 schema 自动查询并识别 schema。
SQL 作业：需要用户手动定义和管理 schema。
细颗粒度 Schema 变更：
CDC YAML：默认支持 schema 变更的自动同步，并提供细粒度的变更控制，允许用户灵活配置哪些变更操作应被同步。
SQL 作业：通常不支持实时 schema 变更同步，需要额外处理机制来捕获和应用这些变更。
原始 ChangeLog 格式支持：
CDC YAML：传递的数据格式包括 schema change event 和 data change event，能够原生支持原始 Changelog 的同步到下游。
SQL 作业：无法直接处理原始 Binlog Changelog。
CDC YAML 支持读写多表，SQL 仅支持读写单表

6. YAML 与 CTAS/CDAS 比较额外支持的功能

Schema 变更支持：
YAML 支持上游表结构变更时立刻同步到下游，而 CTAS/CDAS 需要等待下一条数据写入才能触发结构变更。
原始 Changelog 变更支持：
YAML 能够支持原始 Changelog 变更。
表名定义灵活性：
YAML 允许灵活定义下游表名，可以针对每张表单独设置。
细粒度 Schema 变更：
YAML 支持细粒度的 Schema 变更、裁剪列和过滤数据等功能。

7. YAML 与 DataStream 比较的优势

隐藏底层细节，开发简单：
YAML 作业隐藏了底层实现细节，通过 YAML 文件进行配置，使得用户更容易理解和操作。
面向多种用户，YAML 格式易于学习理解：
YAML 设计面向多用户，无需深入了解 Java 分布式系统或 Flink，降低了使用门槛。
便于复用已有作业：
YAML 简化了开发流程，用户无需编写复杂的 DataStream 代码即可实现数据同步。

CDC YAML 典型应用场景

1. 整库同步

场景描述：

在整库同步场景中，首先进行全量数据同步（灰色表示），然后进行增量数据同步（蓝色表示）。

例如，在 app_db 数据库中有三张表，通过定义 source 和 sink，以及在 source 的 tables 部分使用正则表达式匹配所有表，可以实现整库同步。
当进入增量阶段时，例如在 orders 表中添加一个 amount 列，该结构变更也会同步到下游的数据库中。

2. 整库同步 + Transform 和 Route

场景描述：

除了简单的数据同步外，用户可能还需要在同步过程中进行额外的数据处理，如添加计算列、重命名表等。这些操作可以通过 transform 和 route 来实现。

例如，可以在下游同步时为表名添加一个 version 后缀，通过 transform 模块实现这些操作。
使用 projection 定义数据转换规则，例如将所有列名同步到下游，并对 name 字段进行大写转换，添加 schema name 等元数据列。
这些操作可以在 schema 变更时自动同步，例如添加一个 age 列。

3. 分库分表同步

场景描述：

为了防止单表数据过大，可以将大表根据某些维度切分到多个数据库或多张表中。在下游数据同步时，需要将这些分库分表的数据合并到同一张表中，方便后续数据分析和处理。

例如，将 app_db 中的多个版本的 customer 表合并到下游数据库中的一张 customer 表中。

4. 整库同步 + 宽容模式

场景描述：

为了解决下游存储不支持频繁 schema 变更的问题，CDC YAML 支持宽容模式。

在宽容模式下，可以将上游多种数据类型映射到下游的某个类型中，减少不必要的 schema 变更操作。

5. 整库同步到 Kafka

场景描述：

支持将整库数据同步到 Kafka，用户可以使用 Flink 的 Kafka connector 读取这些数据。

例如，将 app_db 中的三张表映射到下游的三个 Kafka topic 中。

6. Binlog 原始数据同步 Kafka

支持将 MySQL 上游的 binlog 变更数据同步到 Kafka，用于 changelog 审计或数据回放。
支持 Debezium JSON 和 Canal JSON 两种常用的 changelog 格式。

7. 细粒度变更策略控制

支持新增表、新增列、修改列名、修改列定义、删除列、删除表和清空表等操作。
提供细粒度的变更策略控制，用户可以灵活选择需要同步的变更类型。

8. 自动捕获新增表

场景描述：

当上游数据库新增表时，CDC YAML 能够自动识别并同步这些表的数据，而无需重新配置作业。此功能分为两种情况：

历史数据同步：通过开启 scan.newly-added-table.enabled 选项，并通过 savepoint 重启作业来读取新增表的历史数据。
增量数据同步：只需开启 scan.binlog.newly-added-table.enabled 选项，自动同步新增表的增量数据。

9. 指定位点 + 全量重刷

支持指定位点间隔全量重刷操作，解决数据同步过程中因上游 MySQL 版本不兼容或 binlog 配置问题导致的数据解析错误。
用户可以定义具体的 offset 或 timestamp，跳过错误数据，重新进行数据同步。

10. MySQL CDC 企业级性能优化

binlog Bump 参数优化：

我们引入了一些优化参数，改进 Debezium 的相关参数，这些参数能够提升数据处理性能约 11%。

过滤无关表的数据：

Binlog 存储了实例下所有数据库和表的数据，解析这些数据会耗费较多时间。因此，我们在解析引擎中配置了过滤机制，仅匹配和处理相关表的数据，从而提高效率。优化效果取决于需要过滤的数据量。

并行解析 Binlog & 并行序列化：

我们对解析 Binlog 的过程进行了并行化优化，这包括了解析和序列化两个阶段。这两个阶段是数据处理中的耗时部分，优化后能够分别提升性能 14% 到 42%。

Demo & 未来展望

1. Demo：整库同步 Paimon & 同步 Binlog 到 Kafka

（1）作业配置与启动：

通过配置两个整库同步作业，展示了如何使用数据收入工具进行数据同步。
为了便于观察 Schema 变更，我们将变更模式设置为 “evolve”，以便将 Schema 完整同步到下游。

（2）性能指标监控：

作业启动后，提供了丰富的数据摄入指标，如“is_snapshoting”和“is_incremental_reading”，以监控全量和增量读取阶段。

（3）验证同步效果：

展示了如何从上游数据库读取数据，并在下游数据库中执行插入、更新和删除操作。
通过直接在 Flink CDC 的 session 集群中运行作业，验证了数据的正常读取和同步。

（4）Schema 变更同步：

演示了如何在 Schema 发生变更时，如新增列和删除列，数据能够正常同步到下游。

整库同步 Paimon

同步 Binlog 到 Kafka

2. 未来规划

脏数据处理：我们将增加脏数据处理功能，以便收集和处理在数据同步过程中跳过的错误数据，提高数据同步的透明度和可靠性。

数据限流：针对 MySQL CDC 的读取无法限流的问题，计划支持数据限流功能，以合理平衡不同作业时间的资源使用。

更多上下游：我们将扩展上下游生态，支持更多的数据湖和仓库，以满足更多用户的需求。

3. 文档链接

目前数据摄入 Beta 版的链接和开源 Flink CDC 社区的文档。

文档链接：

数据摄入 Beta 版：https://help.aliyun.com/zh/flink/user-guide/develop-a-yaml-draft?spm=a2c4g.11186623.help-menu-45029.d_2_2_3.53b92058TtBz1e&scm=20140722.H_2846225._.OR_help-V_1
开源 Flink CDC：https://nightlies.apache.org/flink/flink-cdc-docs-stable/

基于 Flink CDC 打造企业级实时数据同步方案

相比于传统数据集成流水线，Flink CDC 提供了全量和增量一体化同步的解决方案。对于一个同步任务，只需使用一个 Flink 作业即可将上游的全量数据和增量数据一致地同步到下游系统。此外， Flink CDC 使用了增量快照算法，无需任何额外配置即可实现全量和增量数据的无缝切换。

现推出“Flink CDC 挑战任务”参与挑战不仅可快速体验《基于 Flink CDC 打造企业级实时数据同步方案》，限时上传任务截图还可获得精美礼品。