一种在hdfs插件中集成nfs的方法_CN111400271B_东方金信.pdf
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202010190542.5
(22)申请日 2020 .03 .18
(65)同一申请的已公布的文献号
申请公布号 CN 111400271 A
(43)申请公布日 2020 .07 .10
(73)专利权人 北京东方金信科技股份有限公司
地址 100080 北京市海淀区成府路45号中
关村智造大街F座3层301
(72)发明人 王建圆
(74)专利代理机构 北京纪凯知识产权代理有限
公司 11245
专利代理师 冀志华
(51)Int.Cl.
G06F
16/182
(2019 .01)
G06F
11/14
(2006 .01)
(56)对比文件
CN 109165206 A ,2019.01 .08
CN 106503158 A,2017.03.15
US 2015242502 A1 ,2015 .08.27
万家雪 .《Hadoop平台运维关键技术研究与
实现》.《中国优秀硕士学位论文全文数据库信息
科技辑》.2015 ,(第08期) ,正文第1 .3、3 .3、3 .4、
3 .5节 .
审查员 安俊鸽
(54)发明名称
一种在HDFS插件中集成NFS的方法
(57)摘要
本发明涉及一种在HDFS插件中集成NFS的方
法，其特征在于包括以下步骤：1)根据实际需求，
确定需要在HDFS插件中集成的NFS类型，当需要
集成的为NFS组件时，进入步骤2)，当需要集成的
为NFS服务时，进入步骤3)；2)在HDFS插件中集成
NFS组件，并通过启动HDFS服务，将NFS组件的挂
在目录添加到HDFS的NameNode元数据目录中，进
而实现HDFS中NameNode元数据备份；3)在HDFS插
件中单独设置NFS服务，通过启动NFS服务，实现
HDFS中NameNode元数据备份。因此，本发明可以
广泛应用于HDFS的数据备份领域中。
权利要求书1页 说明书3页 附图1页
CN 111400271 B
2023.09.19
CN 111400271 B
1 .一种在HDFS插件中集成NFS的方法，其特征在于包括以下步骤：
1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，
进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；
2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加到
HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；
其中，在HDFS插件中集成NFS组件的方法，包括以下步骤：
2.1)在HDFS插件的配置文件中添加对NFS组件的支持；
2 .2)通过HDFS插件在HDFS中安装并配置NFS组件的配置信息，并将NFS组件的挂载目录
添加到HDFS的NameNode元数据目录中；
2 .3) 启动HDFS服务，新产生的元数据信息将同时保存到NameNode元数据目录和NFS组
件的共享目录中，进而实现元数据信息备份；
3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备
份；
其中，在HDFS插件中设置NFS服务的方法，包括以下步骤：
3 .1)在HDFS插件中单独设置NFS服务并设置其配置文件；
3 .2)开启NFS服务，由NFS服务开启共享目录并指定挂载到本地的目录，并在HDFS插件
的NameNode的数据目录中添加NFS的挂载目录；
3 .3) 启动HDFS服务，包括启动HDFS中的NFS服务，新产生的元数据信息将同时保存到原
始元数据目录和NFS服务指定的挂载目录下，达到元数据信息备份的目的。
2.如权利要求1所述的一种在HDFS插件中集成NFS组件的方法，其特征在于：所述步骤
2.1)中，在HDFS插件的配置文件中添加对NFS组件的支持的方法，包括以下步骤：
2.1 .1)在HDFS插件xml的配置文件中添加NFS名字的组件元素，构建NFS组件；
2 .1 .2)构造NFS组件的配置文件，所述配置文件包括配置NFS服务是否支持、NFS组件的
共享目录和挂载目录；
2 .1 .3)根据NFS的配置文件编写对NFS服务的启动停止、配置以及状态监控的生命周期
控制程序。
3 .如权利要求2所述的一种在HDFS插件中集成NFS组件的方法，其特征在于：所述步骤
2 .2)中，通过HDFS插件在HDFS中安装并配置NFS组件的配置信息，并将NFS组件的挂载目录
添加到HDFS的NameNode元数据目录的方法，包括以下步骤：
2.2 .1)通过HDFS插件在HDFS中安装NFS组件，并同时配置NFS组件的配置信息；
2.2 .2)开启NFS组件，配置NFS组件的共享目录和挂载目录；
2.2 .3)将配置的NFS组件的挂载目录添加到HDFS的NameNode元数据目录中。
4 .如权利要求1所述的一种在HDFS插件中集成NFS组件的方法，其特征在于：所述步骤
2.3)中，启动HDFS服务，包括启动HDFS中的NameNode、DataNode、SNameNode和NFS组件。
权 利 要 求 书
1/1 页
2
CN 111400271 B
2
一种在HDFS插件中集成NFS的方法
技术领域
[0001]
本发明涉及大数据技术领域，特别是关于一种在HDFS插件中集成NFS的方法。
背景技术
[0002]
随着大数据时代的到来，传统的文件系统已经无法应对新时代下的大数据存储的
挑战，分布式文件系统以其高可靠性、高性能以及强大的可扩展性逐渐得到广泛的使用。在
主流的分布式文件系统中，大都采用元数据和文件数据分离的策略，将元数据信息存放在
单独的服务器上，元数据服务器作为整个分布式文件系统的管理节点，为应用提供文件系
统目录视图和数据定位服务。
[0003]
作为大数据平台Hadoop的存储核心，HDFS(分布式文件系统)以其良好的设计和性
能逐渐成为大数据处理方向的一个标准。HDFS通常为主从结构 ，其由元数据管理节点
NameNode和数据节点DataNode组成，NameNode负责管理整个分布式文件系统的元数据信
息，包括目录树以及各个数据块对应的存储信息，所有的存储数据分散到DataNode上，当需
要访问文件时，应用首先需要访问NameNode获得文件的存储信息，再访问DataNode获取文
件数据。HDFS虽然支持文件保存NameNode元数据信息，但是当NameNode元数据发生故障时，
会直接导致HDFS不可用。
[0004]
NFS(Network File System，网络文件系统)是由SUN公司研制的UNIX表示层协议
(pressentation layer protocol)，NFS支持多主机之间共享文件，比如B机器把A机器上的
一个分区\home\a挂载为本地机器上的\home\b，这样在B机器上就可以像访问本地机器上
的文件一样访问A机器上的文件了。这为HDFS元数据的备份提供了可能，然而，由于HDFS通
常采用HDFS插件实现服务的管理，HDFS插件是用于自动化安装、启动、停止和监控HDFS服务
的组件，但是目前的HDFS插件并不支持集成NFS。
发明内容
[0005]
针对上述问题，本发明的目的是提供一种在HDFS插件中集成NFS的方法，通过在
HDFS插件中集成NFS组件，在NFS的挂载路径实现HDFS中NameNode元数据的备份，使得多节
点之间共享HDFS的NameNode元数据，保证NameNode元数据安全性。
[0006]
为实现上述目的，本发明采取以下技术方案：一种在HDFS插件中集成NFS的方法，
其包括以下步骤：
[0007]
1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组
件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；
[0008]
2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加
到HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；
[0009]
3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数
据备份。
[0010]
进一步的，所述步骤2)中，在HDFS插件中集成NFS组件的方法，包括以下步骤：
说 明 书
1/3 页
3
CN 111400271 B
3
of 6
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
阿里巴巴 高级产品专家
最新上传
相关文档
评论