CN114925123A-一种分布式的图数据库与图计算系统间数据传输方法-NebulaGraph.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210460305 .5
(22)申请日 2022 .04 .24
(71)申请人 杭州悦数科技有限公司
地址 311100 浙江省杭州市余杭区仓前街
道时代未来之城5幢2201室
(72)发明人 吴敏 梁振亚 周瑶 王辰光
岳通 叶小萌
(74)专利代理机构 杭州创智卓英知识产权代理
事务所(普通合伙) 33324
专利代理师 王媛媛
(51)Int.Cl.
G06F
16/25
(2019 .01)
G06F
16/245
(2019 .01)
(54)发明名称
一种分布式的图数据库与图计算系统间的
数据传输方法
(57)摘要
本申请涉及一种分布式的图数据库与图计
算系统间的数据传输方法，其中，该方法包括：通
过图数据库系统获取图数据和数据读写请求；设
置多种数据传输方式，通过多种数据传输方式将
图数据和数据读写请求传输到图计算系统中。通
过本申请，解决了关于如何结合分布式图数据库
与分布式图计算，使得用户能在同一个大规模数
据集上，进行实时的读写和计算的问题。
权利要求书2页 说明书8页 附图2页
CN 114925123 A
2022.08.19
CN 114925123 A
1 .一种分布式的图数据库与图计算系统间的数据传输方法，其特征在于，所述方法包
括：
通过图数据库系统获取图数据和数据读写请求；
设置多种数据传输方式，通过所述多种数据传输方式将所述图数据和所述数据读写请
求传输到图计算系统中。
2.根据权利要求1所述的方法，其特征在于，所述设置多种数据传输方式包括：
第一传输：通过查询Nebula Graph存储层的多个分片和副本，扫描获取数据，将数据传
输到对应的图计算系统中；
第二传输：通过预设方式设置过滤参数，在Nebula Graph的存储层对数据的图属性进
行过滤处理，过滤后的数据传输到图计算系统中；
第三传输：通过Nebula Graph的listener或job的方式，将增量数据传输到图计算系统
中；
第四传输：获取Nebula Graph的查询层接口，通过所述接口向查询层发送查询语句，在
Nebula Graph的计算层通过所述查询语句对数据进行过滤处理，过滤后的数据传输到图计
算系统中。
3 .根据权利要求2所述的方法，其特征在于，所述通过查询Nebula Graph存储层的多个
分片和副本，扫描获取数据包括：
获取查询请求，根据底层存储节点的权重将不同的查询任务发送到对应的节点上，并
在节点上扫描多个分片和副本；
扫描时通过scan接口获取key‑value值，并在对应分片上读取查询结果。
4 .根据权利要求2所述的 方法 ，其特征在于 ，所述通过预设方式设置过滤参数 ，在
Nebula Graph的存储层对数据的图属性进行过滤处理包括：
通过SparkConnector的接口，设置过滤参数，对传输数据的图属性进行限定，并将全量
数据导出并转换，通过filter函数筛选过滤数据；
或者根据Nebula Graph中的job方式，在数据接口中加入filter函数，设置过滤属性和
过滤条件，筛选数据。
5 .根据权利要求1‑4任一项所述的方法，其特征在于，在多种数据传输方式中，
以请求发起的时间作为当前合法快照隔离的时间，进行图数据库系统数据与图计算系
统数据的快照隔离。
6 .根据权利要求1所述的方法，其特征在于，在将所述图数据和所述数据读写请求传输
到图计算系统中之后，所述方法还包括：
通过所述图计算系统对数据进行图计算，缓存相应的图数据，并返回计算结果。
7 .一种分布式的图数据库与图计算系统间的数据传输系统，其特征在于，所述系统包
括：
获取模块，用于通过图数据库系统获取图数据和数据读写请求；
传输模块，用于设置多种数据传输方式，通过所述多种数据传输方式将所述图数据和
所述数据读写请求传输到图计算系统中。
8.根据权利要求7所述的系统，其特征在于，所述传输模块包括：
第一传输单元，用于通过查询Nebula Graph存储层的多个分片和副本，扫描获取数据，
权 利 要 求 书
1/2 页
2
CN 114925123 A
2
of 13
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论