RDP介绍
RDP是高可用、低延时、可追溯的MySQL数据订阅基础组件,全称是Real-Time Data Pipeline,是一个从MySQL同步数据到Kafka的数据管道。正如这个名字一样,RDP不生产数据,只是数据的“搬运工”。
想要了解更多内容可继续查看文章及推荐阅读。
RDP总体架构

RDP基本特性
●可用性:也就是系统可以对使用方提供什么样的SLA。在系统所承诺的SLA之外,使用方可以通过自己额外的设计、Workaround来达成它们自己对其它系统(或者业务指标)的SLA承诺。详细介绍请查看文末推荐阅读:Real-Time Data Pipeline介绍之“高可用”篇。
●实时性: 作为搬运工,”送货“时效如何?系统使用方注重总体端到端的延时。系统开发者,除了端到端,我们还关心每一个环节的延时,以及各个环节间交互是否合理、是否高效。详细介绍请查看文末推荐阅读:Real-Time Data Pipeline介绍之“实时性”篇。
●追溯性: 作为“管道”,爬进管子里面去调查问题,或者凭经验规律揣测,显然都是比较不友好的体验。比较理想的状况是系统通过自证和他证两个方面,来达到可以让系统使用方、系统维护者可以轻松准确地找到问题所在。详细介绍请查看文末推荐阅读:Real-Time Data Pipeline介绍之“追溯性”篇。
RDP应用场景
数据同步:同步数据库Binlog数据,解析后写入Kafka,业务消费Kafka获取数据库增量数据。

事件通知:通过RDP同步增量数据库数据至Kafka,业务消费Kafka,获取数据库的变动情况,根据订阅事件进行相应的业务操作。

读一致性事件通知: RDP会主动等待Slave的同步进度,等待指定Slave追上同步进度或者超过一定阈值,才将事务写到Kafka。

如何加入RDP讨论群
使用有问题?想直接和作者交流?没关系,扫描下方二维码加入RDP官方微信讨论群。
扫描二维码加入微信群,12月25日前有效

前100名加群免审核、免邀请(扫描上方群二维码即可)。
100名后因管理需要,将开启进群验证,可先扫描下方个人二维码或搜索微信号viptech128[唯技术],备注RDP,添加好友后进入讨论组(如有添加好友异常请稍后再试,或在公众号后台留言“RDP+您的微信号”,工作人员会统一添加好友入群)。

如何向RDP贡献代码
所有报Bug、建议与咨询,请在 GITHUB Issues发起;所有代码提交,请走Pull Request流程。开发人员会及时回复和处理的。对于优秀建议和Pull Request代码提交也会给予奖励。点击原文即可进入Github界面,感谢关注。
推荐阅读