目录
产品简介
CloudCanal 是一款 数据同步、迁移 工具,帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。
产品优势
CloudCanal 具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点,相比同类产品,更加专注、细致、专业。
-
实时高效
数据同步功能 延迟普遍小于 5 秒 , 期间完成增量数据解析、攒批、操作过滤、数据转换、元数据映射、数据写入等动作。 -
精确互联
对于数据链路两端的数据类型、结构规范、读写特点做了精确匹配与转换,让每一个数据源种类、版本差异 得到妥善解决。 -
稳定可扩展
产品内核精简,单进程架构,系统分布式、高可用部署。产品通过组合各个职能的任务进程,实现大规模、分布式、高质量数据管道集群。 -
一站式
汇集结构迁移、数据迁移、数据同步、数据校验与订正、修改订阅等功能,通过有限状态机让功能自动流转和运行。一站式支持用户数据准备与长期同步过程的一系列工作。 -
混合部署
支持各个公有云、本地机房私有部署,首要关注用户数据安全,有效支持异地、云上云下、多云之间数据安全同步需求。 -
复杂数据转换
产品默认包含元数据映射、裁剪、过滤等标准能力,同时支持 用户上传业务代码 进行数据复杂处理。
核心功能
-
数据迁移
将指定数据源数据全量搬迁到目标数据源,支持多种数据源,具备断点续传、顺序分页扫描、并行扫描、元数据映射裁剪、自定义代码数据处理、批量写入、并行写入、数据条件过滤等特点,对源端数据源影响小且性能好,同时满足数据轻度处理需求。可选搭配结构迁移、数据校验和订正,满足结构准备或数据质量的需求。
-
数据同步
通过消费源端数据源增量操作日志,准实时在对端数据源重放,以达到数据同步目的,具备断点续传、DDL 同步、元数据映射裁剪、自定义代码数据处理、操作过滤、数据条件过滤、高性能对端写入等特点。可选搭配结构迁移、数据初始化(全量迁移)、单次或定时数据校验与订正,满足数据准备和业务长周期数据同步对于数据质量的要求。
-
结构迁移和同步
帮助用户快速将源端结构执行到对端的功能,具备类型转换、数据库方言转换、命名映射等特点,可独立使用,也可作为数据迁移或数据同步准备步骤。 -
数据校验和订正
将源端和对端数据分别取出,逐字段对比,可选择差异数据订正,功能可单独使用,也可配合数据迁移或数据同步使用,满足用户数据质量验证与修复的需求。 -
数据源互通拓扑
纵向为源端,横向为目标端(因数据源较多,分为两部分)
产品架构
应用场景
-
数据库多向同步
帮助业务双向/多向同步数据库、消息中间件数据之间数据,并消除同步循环,达成 业务异地多活、数据容灾备份 业务目标。参考样例: MySQL 双向数据同步
-
实时数仓数据同步
通过实时同步,让数据既满足业务流程的刚性需求,同时具备更多的应用,包括但不限于数据复杂检索(多维度筛选、聚合、连接等)、模糊搜索、子业务流程触发、数据共享、数据挖掘等。参考样例: MySQL 到 ClickHouse 同步
-
大数据数据准备
通过消息中间件解耦在线业务和大数据分析,在线数据实时出现在消息中间件中,下游流、批处理数据,构建数据平台。参考样例: MySQL 到 Kafka 同步
-
云上云下/多云数据同步
公有云与公有云、公有云与私有机房、跨地域远距离数据迁移和同步,增量同步节省业务带宽,CloudCanal Tunnel 数据源让 两端数据库都不暴露公网,并且默认附带鉴权、加密传输,让数据同步更安全。参考样例: 跨互联网数据同步
-
业务数据架构平滑升级
自定义代码上传让业务有机会进行复杂的数据迁移同步,通过实现 clougence-sdk 接口,接受迁移或同步数据,再进行变换处理甚至调用远程服务,最后将结果返回 CloudCanal 。此能力让用户对老业务数据结构进行彻底变化,并且完成 新老业务不停机过渡 成为可能。
参考样例: 数据同步脱敏
-
更多场景和样例
CloudCanal 能够极大丰富业务的数据应用场景,充分发挥数据本来的价值,更多场景应用不断丰富中。参考样例: 数据校验与订正
所属公司
杭州开云集致科技有限公司(ClouGence)是一家基础技术创业公司,主要面向企业提供数据领域的工具和解决方案,业务在云上展开,开源社区驱动。公司创始成员来自阿里基础技术团队,具备10年以上大规模分布式中间件、数据库内核、云产品经验。团队务实,以业务价值为导向,具备良好的技术追求。
相关资料
公司官网:https://www.clougence.com/
CloudCanal 文档:https://www.clougence.com/cc-doc/intro/product_intro
CloudCanal 下载:https://www.clougence.com/?src=cc-doc