(二) hadoop发行版本及构架的变迁

原创张晓璞 2022-04-16

2021

Hadoop发行版本

Apache开源社区版本

hadoop发展到现在，已经经历了十几年，目前我们能够在市面上接触到的版本，大致分为两大类，第一大类叫做开源社区版本，这个名字听起来很山寨，感觉这个开源社区一定不咋地，但是实际上，这个开源社区指的，就是Apache的开源社区，换句话说，这个版本，就是官方版本。
没错，这个就是官方发行版本，那官方版本法行的最大优点是什么呢，就是更新迭代非常的快，不管是大版本还是小版本，基本上每隔一段时间，固定的频率就会推出来，那当然，他的缺点也很明显了，你更新这么快，兼容性稳定性怎么样，肯定考虑不周了啊，毕竟我们干活的时候，不是只用这一家软件，其他集成的软件能不能跟得上，能不能兼容，这些都是问题。

http://hadoop.apache.org/

商业发行版本

第二类软件，我们称之为商业发行版，就是一些商业公司，在Apache的开源协议之上，做一些服务的收费功能，这些收费的点通常就是用户感到痛点的地方，简单举个例子，用户觉得这种分布式集群搭建安装软件非常的繁琐，每台机器都要安装，每台机器都要配置，万一写错了咋办呢，这时候，商业公司说，没关系，你掏钱，我帮你提供在线一键安装，再比如，遇到问题客户无法解决，到底是哪台机器出了问题，商业公司说，没关系，你付费，我帮你提供解决方案，甚至我派人上门帮你解决问题，这些都是收费点。
整个商业版本他的优点就是兼容性，稳定性非常好，因为他在发行之前一定会做精准的测试，能集成哪些软件，不能支持哪些软件，支持那些版本。缺点就是要收费，当然收费也没有问题，因为有好的服务，再就是版本更新会非常的慢，因为这个时候，他追求的就是什么才是最稳定的版本。
比如最著名的Cloudera和Hortonworks两家商业公司，合并了，下面链接大家可以自己看一下具体内容。

Cloudera：
https://www.cloudera.com/products/open-source/apache-hadoop.html
Hortonworks ：
https://www.cloudera.com/products/hdp.html

本文档介绍的是Apache版的Hadoop，版本号为：3.3.0

Hadoop架构变迁（1.0-2.0变迁）

Hadoop 1.0
HDFS（分布式文件存储）
MapReduce（资源管理和分布式数据处理）
Hadoop 2.0
HDFS（分布式文件存储）
MapReduce（分布式数据处理）
YARN（集群资源管理、任务调度）

首先我们来看一下致命性的变化，就是1.0版本到2.0版本的变迁，因为hadoop发展到现在，大概经历了三个大的版本变化，我们仔细对比一下，发现底层都是hdfs，没有什么变化，也就是说，数据怎么存的，没有什么变化。
1.0到2.0最大的变化，就是对MR进行了大的拆分，并且引入了一个新的组件，叫做YARN。大家可以看下图，我们发现，这个mapReduce这个组件太累了，他除了要做集群的资源管理，还要做数据的处理，这一个组件身兼数职，并且这两件事情都非常的重要，那他的性能能好吗？
完全不行啊，所以呢，到2.0版本之后，hadoop做了一个非常大的构架变化，就是把MR做了拆分，MR你只负责处理数据就可以了，资源管理的事情，交给专门的组件来做，这个组件就是YARN，并且YARN这个组件做的非常通用，不仅支持MapReduce，还支持其他的计算框架，什么Spark，Flink等。目前市面上1.0基本上没什么人用了，但是2.8、2.9这些还是有在用。