暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
文档 / CN201910549601.0-基于多进程并发和插件向数据库快速加载数据方法和系统.PDF
CN201910549601.0-基于多进程并发和插件向数据库快速加载数据方法和系统.PDF
云毅
42
18页
0次
2024-03-20
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 201910549601.0
(22)申请日 2019.06 .24
(65)同一申请的已公布的文献号
申请公布号 CN 110347440 A
(43)申请公布日 2019.10 .18
(73)专利权人 北京人大金仓信息技术股份有限
公司
地址 100085 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 袁远松　王建华　杜春魁　
(74)专利代理机构 北京纽乐康知识产权代理事
务所(普通合伙) 11210
专利代理师 白明珠
(51)Int.Cl.
G06F
9/445
(2018 .01)
G06F
16/25
(2019 .01)
(56)对比文件
CN 101515291 A ,2009 .08 .26
CN 103049533 A ,2013 .04 .17
CN 108776710 A ,2018 .11 .09
US 2009319550 A1,2009 .12 .24
US 2014222768 A1,2014 .08 .07
US 2017293619 A1,2017 .10 .12
审查员 张静
(54)发明名称
基于多进程并发和插件向数据库快速加载
数据方法和系统
(57)摘要
本发明公开了基于多进程并发和插件向数
据库快速加载数据方法和系统，包括数据加载工
具和注册到数据库服务器的数据加载插件，所述
数据加载插件包括一个写进程和多个解析进程；
该方法包括以下步骤：所述数据加载工具负责读
取配置文件，并连接和调用数据加载插件进行加
载工作；所述数据加载插件接受连接的进程为写
进程，写进程创建多个所述解析进程；每个所述
解析进程分任务并行读取源数据文件中相关的
数据并解析和组装成元组，将所述元组放入其对
应的共享内存队列；所述写进程遍历所有所述共
享内存队列，从中取出元组数据后直接写入目标
数据文件中。本发明有益效果：增强了扩展性，降
低了与数据库服务器的耦合性，提高了加载效
率。
权利要求书2页 说明书8页 附图7页
CN 110347440 B
2022.06.03
CN 110347440 B
1 .一种基于多进程并发和插件向数据库快速加载数据方法，其特征在于，包括以下步
骤：
数据加载工具负责读取配置文件，与数据加载插件的写进程相连接，并调用所述数据
加载插件进行数据加载工作；
所述写进程接收所述数据加载工具的连接后创建多个解析进程；
每个所述解析进程分任务并行读取源数据文件中相关的数据后进行数据解析，将解析
后的数据组装成元组；
将所述元组放入其所对应的共享内存队列；
所述写进程遍历所有所述共享内存队列，从中取出元组数据后直接写入目标数据文件
中。
2.根据权利要求1所述的基于多进程并发和插件向数据库快速加载数据方法，其特征
在于，从所述共享内存队列中取出元组数据后直接写入目标数据文件中写入目标数据文件
时，根据用户的配置参数决定是否创建索引。
3 .根据权利要求1所述的基于多进程并发和插件向数据库快速加载数据方法，其特征
在于，该方法还包括：在所述解析进程中采用异常捕获机制捕获出错信息进行异常处理，将
所述出错信息进行分类处理并记入日志。
4 .根据权利要求1‑3任一项所述的基于多进程并发和插件向数据库快速加载数据方
法，其特征在于，所述数据加载工具包括：
所述数据加载工具解析命令行参数和配置文件，将解析后的配置信息存储到链表中，
将所述链表中的配置选项转化成字符串；
将所述配置选项作为函数参数，调用所述数据加载插件的加载函数；
数据库服务器根据所述配置选项完成数据加载，并将加载的结果信息返回所述数据加
载工具，所述数据加载工具接收后显示。
5 .根据权利要求4所述的基于多进程并发和插件向数据库快速加载数据方法，其特征
在于，所述调用所述数据加载插件的加载函数包括：
将所述数据加载插件的加载函数进行参数解析；
根据所述数据加载插件所对应的进程，分别创建不同的具体功能的Reader模块和
Writer模块，并调用对应模块的初始化函数进行初始化；
循环判断已加载的数据条数是否小于限制数，若所述加载条数小于所述限制数，则通
过所述Reader模块获取下一个元组，若下一个元组不为空，则通过所述Writer模块写入元
组；否则，若所述加载条数超过受限范围或者获取元组为空就结束写入流程；
数据加载完成后，将加载的结果信息通过函数的返回值的形式返回。
6 .一种基于多进程并发和插件向数据库快速加载数据系统，其特征在于，包括数据加
载工具和注册到数据库服务器的数据加载插件，其中，所述数据加载插件包括一个写进程
和多个解析进程，所述数据加载工具与所述写进程相连接；所述数据加载插件接收连接后
创建多个解析进程；
每个所述解析进程分任务并行读取源数据文件中相关的数据后进行数据解析，将解析
后的数据组装成元组；
将所述元组放入其所对应的共享内存队列；
权　利　要　求　书
1/2 页
2
CN 110347440 B
2
所述写进程遍历所有所述共享内存队列，从中取出元组数据后直接写入目标数据文件
中。
7 .根据权利要求6所述的基于多进程并发和插件向数据库快速加载数据系统，其特征
在于，所述数据加载工具包括：
配置和参数解析模块，用于所述数据加载工具解析命令行参数和配置文件，将解析后
的配置信息存储到链表中，将所述链表中的配置选项转化成字符串；
插件调用模块，用于将所述配置选项作为函数参数，调用所述数据加载插件的加载函
数；
加载结果显示模块，用于所述数据库服务器根据所述配置选项完成数据加载，并接收
和显示加载后的结果信息。
8.根据权利要求6所述的基于多进程并发和插件向数据库快速加载数据系统，其特征
在于，所述写进程包括：
写进程的参数解析模块，用于写进程接收数据加载工具调用的函数参数解析；
写进程初始化模块：初始化READER模块和WRITER模块分别为元组读取模块和写目标数
据文件模块，以及系统初始化；
元组读取模块：用于遍历所有共享内存队列，从所述共享内存队列中取出元组数据；
写数据文件模块：用于将从元组读取模块读取的元组数据直接写入目标数据文件中。
9.根据权利要求6所述的基于多进程并发和插件向数据库快速加载数据系统，其特征
在于，所述解析进程包括：
解析进程的参数解析模块，用于所述解析进程接受调用的函数参数解析；
解析进程初始化模块：初始化READER模块和WRITER模块分别为源文件读取模块和写共
享内存模块，以及系统初始化；
源文件读取模块：读取源数据文件，并解析源数据文件中的数据，然后将其组装成元
组；
写共享内存模块：将源文件读取模块组装成的元组直接写入其所对应的共享内存中。
10 .根据权利要求6‑9任一项所述的基于多进程并发和插件向数据库快速加载数据系
统，其特征在于，该系统还包括异常捕获模块，用于在所述解析进程中采用异常捕获机制捕
获出错信息进行异常处理，将所述出错信息进行分类处理并记入日志。
权　利　要　求　书
2/2 页
3
CN 110347440 B
3
of 18
免费下载
金仓数据库patentkingbase
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

相关文档

【GoldenDB】一种分布式数据库的License管理方法、装置、系统及介质_CN202411939226.8_金篆信科有限责任公司.pdf
1浏览
【GoldenDB】数据传输方法、装置、计算机设备及存储介质_​​​202311798705.8_金篆信科有限责任公司.PDF
1浏览
【GoldenDB】数据库的数据迁移方法、装置、计算机设备及存储介质_​​​202311826157.5_金篆信科有限责任公司.PDF
8浏览
【GoldenDB】数据库日志的同步系统、方法、存储介质以及电子设备_CN202411916143.7_金篆信科有限责任公司.pdf
6浏览
【GoldenDB】数据库双向数据同步方法、装置、电子设备及存储介质_​​​202311811465.0_金篆信科有限责任公司.PDF
12浏览
【GoldenDB】一种分布式数据库变更数据检索方法、装置、设备及介质_CN202411914568.4_金篆信科有限责任公司.pdf
21浏览

评论