一种数据文件编码格式转换方法及系统_CN111476002B_东方金信.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202010263975.9
(22)申请日 2020.04.07
(65)同一申请的已公布的文献号
申请公布号 CN 111476002 A
(43)申请公布日 2020.07.31
(73)专利权人 北京东方金信科技股份有限公司
地址 100062 北京市海淀区成府路45号中
关村智造大街F座3层301
(72)发明人 陈涛
(74)专利代理机构 北京纪凯知识产权代理有限
公司 11245
代理人 冀志华
(51)Int.Cl.
G06F
40/151
(2020 .01)
(56)对比文件
CN 108255984 A ,2018.07.06
CN 105095518 A ,2015.11.25
审查员 张慧娟
(54)发明名称
一种数据文件编码格式转换方法及系统
(57)摘要
本发明涉及一种数据文件编码格式转换方
法及系统，该系统包括文件获取模块，用于获取
用户上传的输入文件，记录各输入文件的上传时
间以及对应的用户名称；线程管理模块，用于为
各输入文件的转换任务创建线程任务，并按照上
传时间并行取出多个线程任务发送到相应的所
述解析模块；解析模块，用于采用原有的编码格
式对用户上传的输入文件进行读取，得到与之对
应的待转换文件；转码模块，用于采用大数据融
合开发系统能够识别的编码格式对待转换文件
进行转码，得到新的输入文件；文件输出模块用
于将转码后新的输入文件输出到大数据融合开
发系统中，用于后续处理。本发明可以广泛应用
于数据转码领域。
权利要求书3页 说明书6页 附图1页
CN 111476002 B
2021.01.15
CN 111476002 B
1 .一种数据文件编码格式转换系统，其特征在于其包括：
文件获取模块、线程管理模块、解析模块、转码模块和文件输出模块；
所述文件获取模块用于获取用户上传的输入文件，记录各输入文件的上传时间以及对
应的用户名称；
所述线程管理模块用于为各输入文件的转换任务创建线程任务，并按照上传时间并行
取出多个线程任务发送到相应的所述解析模块；
所述解析模块用于采用原有的编码格式对用户上传的输入文件进行读取，得到与之对
应的待转换文件；
所述转码模块用于采用大数据融合开发系统能够识别的编码格式对待转换文件进行
转码，得到新的输入文件；
所述文件输出模块用于将转码后新的输入文件输出到大数据融合开发系统中，用于后
续处理；
所述解析模块包括第一读取模块、解析判断模块、分组模块、行号信息记录模块、文件
编号记录模块、转换文件建立模块以及存储模块；
所述第一读取模块用于采用用户原有的编码格式对用户上传的输入文件进行读取，读
取时采用的是java中的IO流工具；
所述解析判断模块用于对读取的内容进行解析，并判断读取的内容是否为乱码，如果
为乱码则将读取数据发送到所述分组模块，否则将数据发送到所述存储模块；
所述分组模块用于将数据内容中的每一行数据作为一个转换单元，并按照预设最大转
换阈值将读取到的所有转换单元进行分组，得到多个转换单元组；
所述行号信息记录模块用于将各转换单元组中起止行数据对应的行号信息记录到分
组信息表中；
所述文件编号记录模块用于根据分组信息表为每一转换单元组建立与其起止行号信
息相关联的唯一的转换文件编号，然后将各转换文件编号记录到转换文件编号表中；
所述转换文件建立模块用于根据转换文件编号表建立转换文件，并将与之对应的各转
换单元组中的数据按条存储到各转换文件中；
所述存储模块用于将各转换文件或数据内容存储到待转换文件夹。
2.如权利要求1所述的一种数据文件编码格式转换系统，其特征在于：所述线程管理模
块包括线程创建模块、队列表创建和维护模块以及线程取出模块；
所述线程创建模块用于当用户上传多个输入文件或不同用户同时上传一个或多个输
入文件时，为每一个输入文件的转换任务创建一个线程放入线程池；
所述队列表创建和维护模块用于建立并维护一个队列表，该队列表中存储有各任务线
程的相关信息，包括线程所包含的输入文件名称、输入文件对应的用户名称、输入文件的上
传时间以及输入文件的处理状态；
所述线程取出模块用于按照预设的并行处理线程个数以及队列表中记录的输入文件
的上传时间，从线程池中取出相应个数的线程任务，并发送到所述解析模块。
3 .如权利要求1所述的一种数据文件编码格式转换系统，其特征在于：所述转码模块包
括第二读取模块、二进制转换模块、数据获取模块、关键值写入模块、数据值写入模块；
所述第二读取模块用于根据转换文件编号表中的转换文件编号，依次读取待转换文件
权 利 要 求 书
1/3 页
2
CN 111476002 B
2
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论