暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
CloudCanal
标签
编辑
简介:CloudCanal 是一款 数据同步、迁移 工具,帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。
简介:CloudCanal 是一款 数据同步、迁移 工具,帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。
产品概览 用户评价

目录

产品简介

CloudCanal 是一款 数据同步、迁移 工具,帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。

产品优势

CloudCanal 具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点,相比同类产品,更加专注、细致、专业。

  • 实时高效
    数据同步功能 延迟普遍小于 5 秒 , 期间完成增量数据解析、攒批、操作过滤、数据转换、元数据映射、数据写入等动作。

  • 精确互联
    对于数据链路两端的数据类型、结构规范、读写特点做了精确匹配与转换,让每一个数据源种类、版本差异 得到妥善解决。

  • 稳定可扩展
    产品内核精简,单进程架构,系统分布式、高可用部署。产品通过组合各个职能的任务进程,实现大规模、分布式、高质量数据管道集群。

  • 一站式
    汇集结构迁移、数据迁移、数据同步、数据校验与订正、修改订阅等功能,通过有限状态机让功能自动流转和运行。一站式支持用户数据准备与长期同步过程的一系列工作。

  • 混合部署
    支持各个公有云、本地机房私有部署,首要关注用户数据安全,有效支持异地、云上云下、多云之间数据安全同步需求。

  • 复杂数据转换
    产品默认包含元数据映射、裁剪、过滤等标准能力,同时支持 用户上传业务代码 进行数据复杂处理。

核心功能

图片.png

  • 数据迁移
    将指定数据源数据全量搬迁到目标数据源,支持多种数据源,具备断点续传、顺序分页扫描、并行扫描、元数据映射裁剪、自定义代码数据处理、批量写入、并行写入、数据条件过滤等特点,对源端数据源影响小且性能好,同时满足数据轻度处理需求。

    可选搭配结构迁移、数据校验和订正,满足结构准备或数据质量的需求。

  • 数据同步
    通过消费源端数据源增量操作日志,准实时在对端数据源重放,以达到数据同步目的,具备断点续传、DDL 同步、元数据映射裁剪、自定义代码数据处理、操作过滤、数据条件过滤、高性能对端写入等特点。

    可选搭配结构迁移、数据初始化(全量迁移)、单次或定时数据校验与订正,满足数据准备和业务长周期数据同步对于数据质量的要求。

  • 结构迁移和同步
    帮助用户快速将源端结构执行到对端的功能,具备类型转换、数据库方言转换、命名映射等特点,可独立使用,也可作为数据迁移或数据同步准备步骤。

  • 数据校验和订正
    将源端和对端数据分别取出,逐字段对比,可选择差异数据订正,功能可单独使用,也可配合数据迁移或数据同步使用,满足用户数据质量验证与修复的需求。

  • 数据源互通拓扑
    纵向为源端,横向为目标端(因数据源较多,分为两部分)

图片.png
图片.png

产品架构

图片.png

应用场景

图片.png

  • 数据库多向同步
    帮助业务双向/多向同步数据库、消息中间件数据之间数据,并消除同步循环,达成 业务异地多活、数据容灾备份 业务目标。

    参考样例: MySQL 双向数据同步

  • 实时数仓数据同步
    通过实时同步,让数据既满足业务流程的刚性需求,同时具备更多的应用,包括但不限于数据复杂检索(多维度筛选、聚合、连接等)、模糊搜索、子业务流程触发、数据共享、数据挖掘等。

    参考样例: MySQL 到 ClickHouse 同步

  • 大数据数据准备
    通过消息中间件解耦在线业务和大数据分析,在线数据实时出现在消息中间件中,下游流、批处理数据,构建数据平台。

    参考样例: MySQL 到 Kafka 同步

  • 云上云下/多云数据同步
    公有云与公有云、公有云与私有机房、跨地域远距离数据迁移和同步,增量同步节省业务带宽,CloudCanal Tunnel 数据源让 两端数据库都不暴露公网,并且默认附带鉴权、加密传输,让数据同步更安全。

    参考样例: 跨互联网数据同步

  • 业务数据架构平滑升级
    自定义代码上传让业务有机会进行复杂的数据迁移同步,通过实现 clougence-sdk 接口,接受迁移或同步数据,再进行变换处理甚至调用远程服务,最后将结果返回 CloudCanal 。

    此能力让用户对老业务数据结构进行彻底变化,并且完成 新老业务不停机过渡 成为可能。

    参考样例: 数据同步脱敏

  • 更多场景和样例
    CloudCanal 能够极大丰富业务的数据应用场景,充分发挥数据本来的价值,更多场景应用不断丰富中。

    参考样例: 数据校验与订正

所属公司

杭州开云集致科技有限公司(ClouGence)是一家基础技术创业公司,主要面向企业提供数据领域的工具和解决方案,业务在云上展开,开源社区驱动。公司创始成员来自阿里基础技术团队,具备10年以上大规模分布式中间件、数据库内核、云产品经验。团队务实,以业务价值为导向,具备良好的技术追求。

相关资料

公司官网:https://www.clougence.com/
CloudCanal 文档:https://www.clougence.com/cc-doc/intro/product_intro
CloudCanal 下载:https://www.clougence.com/?src=cc-doc

用户评价

0
0
词条统计
创建者:小小亮
编辑次数:0
浏览次数:267
API调用次数:0
贡献者
2024/10/17