基于Spark SQL的分布式数据库元数据同步装置及方法_CN113672683A_上海沄熹科技有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202110952574.9
(22)申请日 2021.08.19
(71)申请人 浪潮云信息技术股份公司
地址 250100 山东省济南市高新区浪潮路
1036号浪潮科技园S01号楼
(72)发明人 苑晓龙 贾德星
(74)专利代理机构 济南信达专利事务所有限公
司 37100
代理人 孙晶伟
(51)Int.Cl.
G06F
16/27
(2019 .01)
(54)发明名称
基于Spark SQL的分布式数据库元数据同步
装置及方法
(57)摘要
本发明公开基于Spark SQL的分布式数据库
元数据同步装置及方法，涉及分布式数据库技术
领域；基于Gossip的网络，构建集群节点，其中将
分布式数据库集群的Cockroach节点作为内部节
点，将Spark SQL的Driver节点作为外部节点，通
过外部节点接收内部节点的元数据事件中用户
数据库和数据表的元数据信息，并同步用户数据
库和数据表的元数据信息至SparkSQL数据仓库。
权利要求书2页 说明书5页 附图3页
CN 113672683 A
2021.11.19
CN 113672683 A
1 .基于Spark SQL的分布式数据库元数据同步方法，其特征是基于Gossip的网络，构建
集群节点 ，其中将分布式数据库集群的Cockroach节点作为内部节点，将Spark SQL的
Driver节点作为外部节点，
通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息，并同
步用户数据库和数据表的元数据信息至Spark SQL数据仓库。
2.根据权利要求1所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是通
过外部节点接收Gossip消息，对Gossip消息进行分类，并过滤获得与用户数据库和数据表
相关的元数据事件。
3 .根据权利要求2所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是通
过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip消息进行分类，过
滤出与用户数据库和数据表相关的元数据事件。
4 .根据权利要求1‑3任一项所述的基于Spark SQL的分布式数据库元数据同步方法，其
特征是根据元数据事件中用户数据库和数据表的元数据信息，通过Gossip组件实现元数据
事件处理器接口，通过元数据事件处理器接口同步用户数据库和数据表的元数据信息至
Spark SQL数据仓库。
5 .基于Spark SQL的分布式数据库元数据同步系统，其特征是包括内部节点管理模块，
外部节点管理模块，
基于Gossip的网络 ，构建集群节点，其中内部节点管理模块将分布式数据库集群的
Cockroach节点作为内部节点，外部节点管理模块将Spark SQL的Driver节点作为外部节
点，
外部节点管理模块通过外部节点接收内部节点的元数据事件中用户数据库和数据表
的元数据信息，并同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。
6 .根据权利要求5所述的基于Spark SQL的分布式数据库元数据同步系统，其特征是外
部节点管理模块通过外部节点接收Gossip消息，对Gossip消息进行分类，并过滤获得与用
户数据库和数据表相关的元数据事件。
7 .根据权利要求6所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是外
部节点管理模块通过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip
消息进行分类，过滤出与用户数据库和数据表相关的元数据事件。
8.根据权利要求5‑8任一项所述的基于Spark SQL的分布式数据库元数据同步系统，其
特征是外部节点管理模块根据元数据事件中用户数据库和数据表的元数据信息，通过
Gossip组件实现元数据事件处理器接口，通过元数据事件处理器接口同步用户数据库和数
据表的元数据信息至Spark SQL数据仓库。
9.基于Spark SQL的分布式数据库元数据同步装置，其特征是包括至少一个存储器和
至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一项所述
的基于Spark SQL的分布式数据库元数据同步方法。
10 .计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机
指令在被处理器执行时，使所述处理器执行权利要求1至4中任一项所述的基于Spark SQL
权 利 要 求 书
1/2 页
2
CN 113672683 A
2
的分布式数据库元数据同步方法。
权 利 要 求 书
2/2 页
3
CN 113672683 A
3
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论