(三) hadoop安装部署集群介绍

原创张晓璞 2022-04-18

1937

Hadoop集群整体介绍

为了更加顺利的搭建集群，我们需要了解一下hadoop集群都包含些啥，我们之前了解过，hadoop包含三个大的组件，分别是HDFS，解决大数据的存储问题，一个是YARN，解决整体资源调度的问题，还有一个MapReduce，用来进行程序计算的。
但是大家发现，在我们的物理层面，却只有两个集群（HDFS 和YARN）。

Hadoop集群包括两个集群：HDFS集群、YARN集群

两个集群逻辑上分离、通常物理上在一起
两个集群都是标准的主从架构集群

我们如何去理解逻辑上分离，物理上在一起呢？首先，这两个集群，都是标准的主从架构，我们在分布式环境中，经常会遇到主角色，从角色之分，咱们可以理解为，每一个集群，都会有一个核心主角色的老大，带着一群从角色小弟在干活。接下来我们具体看一下，两个集群中，都有哪些角色。

HDFS集群(分布式存储)

主角色：NameNode
从角色：DataNode
主角色辅助角色：SecondaryNameNode

YARN集群(资源管理、调度)

主角色：ResourceManager
从角色：NodeManager

我们首先看HDFS集群，他是一个分布式存储系统，他当中的主角色叫做NameNode，简称NN。从角色叫做DataNode，简称DN，还有一个主角色的辅助，叫做SNN。
我们的YARN集群，当中的主角色叫做ResourceManager，简称RM，从角色叫做NodeManager，简称NM，那么这些角色互相之间有什么关系，负责干什么，咱们后面讲。
接下来咱们回到刚才的问题，怎么样理解辑上分离，物理上在一起，到底有没有MapReduce集群的说法。

如何理解两个集群逻辑上分离？两个集群物理上在一起？

我们先画个图来看一下，我们找到三台机器，分别是node1，node2，node3，那么我的最终目的，就是吧我们所有的各种角色都部署起来，每个角色都有独立的进程。

比如说我们的HDFS集群

我们在第一台主机部署他的主角色NN
在第二太机器部署辅助角色SNN
此外在每台机器上都部署一个小弟DN

这样我们就得到了第一个HDFS集群，它的结构是一主加三从，额外再配个秘书。

我们的第二个集群叫做YARN集群

我们把主角色也放在第一台机器RM
再给他配三个小弟NM

那么这四个进程，就构成了另外一个集群，YARN集群

接下来我们的hadoop集群就出现了，也就是说，两个集群组合起来，才叫做Hadoop集群。

Hadoop集群=HDFS集群+YARN集群

在上面的图中，我们就可以理解，逻辑分离物理上在一起指的是什么。我们看两个集群，他们之间没有什么相互依赖，没有说必须先启动你，我才能运行，你不干活我也不干活，他们相互之间不受影响。但是在物理层面，我们的进程，又部署在同一台机器上，我们在相同的机器上，跑了不同的程序。同一台机器上，跑了不同集群的程序，但是逻辑上又有分离，这个就是逻辑分离物理上在一起。