经过一个多月的功能打磨和技术开发，该套系统终于稳定上线，为我们的数据服务打下了良好的基础。
概述
数据同步传输平台，是一个通用的从MySQL源到多个目标源的高效数据传输转换解决方案，兼具数据浏览，数据服务于一身的综合性数据平台。其核心功能包括但不限于：
•异地异构数据库传输，支持MySQL
，Oracle
，ClickHouse
，Kafka
，Neo4J
等•源到目标数据准实时传输，支持优先级队列•灵活高度可配置的源目标映射配置方案•支持手机短信和钉钉预警监控•支持多角色，源库数据开放可配置•数据浏览和管控•数据服务：高度整合在线编程，并且目标入库支持脚本入库•傻瓜式部署，无需操控服务器，完全可视化•通信支持FIX协议
总体架构图如下：
产品包括两个模块：
•客户端Agent部署（通外网），支持一键部署到阿里云或物理机•数据同步传输平台管理中心：支持账号注册，表订阅，目标库连接信息管理等
使用场景：数据公司（希望将自己数据卖给多家客户并对客户订阅的表做统一管控），有异地异构数据库传输需求的IT公司 使用对象：客户运维，数据分析员（希望对订阅的数据做进一步加工处理或与公司内部系统打通数据）
使用步骤
第一步
注册账号后，进入平台，在首页填写部署客户端服务器的信息，可以是阿里云或服务服务器，点击一键部署后确保首页看到的客户端运行状态为运行中即可。
在【目标源管理】中至少定义一个目标库（一般在你的局域网环境中），填写目标数据源的信息，确保连接测试成功才可以被加入：
注：可以添加多个目标数据源，因为可能你订阅的表需要被转存到多个目标库。
完成以上步骤后，可以进入第二步，去订阅你所需的数据。
第二步
在首页【新建任务】添加一个新的数据同步任务
目标源选择你建立的其中一个目标源，超时时间表示该任务如果有多少分钟没有新数据过来发送钉钉预警消息。
•通过【查看日志】可详细查看同步日志信息•通过【订阅】可查看该任务的订阅表列表，在订阅里可定义映射规则（哪些字段不同步，加入一些目标的计算字段等）
•通过【导入】按钮可导入对应表的初始数据，同步会在加入表后自动进行
传输进度会有提示，程序针对导入大量数据做了技术优化，对于物理服务器，性能可以达到每秒2000条+（接近sqldump的速度，如果是SSD服务器则更快）
在导入窗口中，可以设置只同步某些数据加入where语句，也可以采用覆盖导入方式（覆盖导入不创建表结构，直接替换系统里的数据）
特色功能
•傻瓜式数据同步：无需在服务器上进行任何操作，即可将数据从一端同步到另一端，全称无需任何编码和操控服务器；•同步部分数据：可自定义规则，服务端即可过滤只同步表的哪些数据；•存储目标可定制：有时我们对源表数据需要自定义落入逻辑，平台提供脚本操控能力；•预警机制：系统在异常，数据延后等场景下，会以钉钉消息提醒您，确保数据万无一失；•增值功能：提供数据浏览，数据服务等增值功能，可让你的数据迅速对外提供接口服务等能力；
你可以继续阅读：
一款自动生成后台代码的管理系统的设计与实现 | “大”中台，“小”前端的架构演变| 云服务平台中推送服务的设计与实现 | 对微服务的理解以及实现一套微服务对外发布API管理平台 | 项目开发中常用的设计模式整理 | 异构语言调用平台的设计与实现 | 大话正则表达式 | 云API平台的设计与实现 | 个税改了，工资少了，不要慌！文末附计算器
关注我们的公众号
长按识别二维码关注我们
