实现用户和资源统一管控的大数据集群多租户系统及方法_CN114428669A_上海沄熹科技有限公司.pdf

蒙奇D路飞

9页

0次

2024-04-25

免费下载

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号

(43)申请公布日

(21)申请号 202210115541.3

(22)申请日 2022.02 .07

(71)申请人山东浪潮科学研究院有限公司

地址 250100 山东省济南市高新浪潮路

1036号S02号楼

(72)发明人刘牧　

(74)专利代理机构济南信达专利事务所有限公

司 37100

代理人孙园园

(51)Int.Cl.

G06F

9/455

(2006 .01)

G06F

9/50

(2006 .01)

G06Q

30/06

(2012 .01)

(54)发明名称

实现用户和资源统一管控的大数据集群多

租户系统及方法

(57)摘要

本发明公开了实现用户和资源统一管控的

大数据集群多租户系统及方法，属于大数据技术

领域，本发明要解决的技术问题为如何实现将有

限的节点同时分享给多租用户进行使用而又不

互相影响，采用的技术方案为：该系统包括管理

侧K8S集群和租户侧OpenStack集群，管理侧K8S

集群部署DataSpace UI和DataSpace API，通过

IAM鉴权的用户开通大数据服务，并通过数据空

间对大数据的资源进行相应的操作；租户侧

OpenStack集群部署空间管理模块和用户管理模

块，空间管理模块和用户管理模块用于操作大数

据集群的各类资源，并将各类资源按照配额统一

添加到数据空间。

权利要求书2页说明书5页附图1页

CN 114428669 A

2022.05.03

CN 114428669 A

1 .一种实现用户和资源统一管控的大数据集群多租户系统，其特征在于，该系统包括

管理侧K8S集群和租户侧OpenStack集群，管理侧K8S集群部署DataSpace UI和DataSpace

API，通过IAM鉴权的用户开通大数据服务，并通过数据空间对大数据的资源进行相应的操

作；租户侧OpenStack集群部署空间管理模块和用户管理模块，空间管理模块和用户管理模

块用于操作大数据集群的各类资源，并将各类资源按照配额统一添加到数据空间。

2.根据权利要求1所述的实现用户和资源统一管控的大数据集群多租户系统，其特征

在于，所述用户管理模块用于将系统用户同步到ranger，同时为用户创建kerberos账号。

3 .根据权利要求1或2所述的实现用户和资源统一管控的大数据集群多租户系统，其特

征在于，所述空间管理模块用于对空间的创建以及将已经创建好的空间指定给任一用户使

用。

4 .根据权利要求3所述的实现用户和资源统一管控的大数据集群多租户系统，其特征

在于，在所述空间管理模块内，创建hdfs、yarn、hive及hbase多种资源，设置资源的配额大

小，同时将资源归属到数据空间。

5 .根据权利要求4所述的实现用户和资源统一管控的大数据集群多租户系统，其特征

在于，该系统工作流程具体如下：

(1)、用户IAM统一鉴权；

(2)、判断IAM鉴权是否通过：

①、若是，则执行步骤(3)；

②、若否，则结束；

(3)、开通大数据空间管理服务；

(4)、判断是否开通成功：

①、若是，则执行步骤(5)；

②、若否，则结束；

(5)、通过空间管理模块和用户管理模块操作大数据集群的各类资源，并将各类资源按

照配额统一添加到数据空间；

(6)、用户已分配集群资源。

6 .一种实现用户和资源统一管控的大数据集群多租户方法，其特征在于，该方法是在

管理侧K8S集群部署DataSpace UI和DataSpace API，通过IAM鉴权的用户开通大数据服务，

并通过数据空间对大数据的资源进行相应的操作；在租户侧OpenStack集群部署空间管理

模块和用户管理模块，空间管理模块和用户管理模块用于操作大数据集群的各类资源，并

将各类资源按照配额统一添加到数据空间。

7 .根据权利要求6所述的实现用户和资源统一管控的大数据集群多租户方法，其特征

在于，该方法具体如下：

基于Kerberos实现接入大数据集群的用户的身份认证；

基于hadoop集群中的Ranger组件实现用户和资源的统一管理；

用户管理模块将系统用户同步到ranger，同时为用户创建kerberos账号；

在空间管理模块，管理员创建包含hdfs、yarn、hive和hbase的多种资源，设置资源的配

额大小，同时将资源归属到数据空间；

空间管理模块对空间的创建以及将已经创建好的空间指定给任一用户使用。

权　利　要　求　书

1/2 页

CN 114428669 A

8.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

其中，所述存储器上存储有计算机程序；

所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执

行如权利要求6至7任一项所述的实现用户和资源统一管控的大数据集群多租户方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机

程序，所述计算机程序可被处理器执行以实现如权利要求6至7中任一项所述的实现用户和

资源统一管控的大数据集群多租户方法。

权　利　要　求　书

2/2 页

CN 114428669 A

of 9

免费下载

kaiwudb patent

相关文档

评论