Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)

虽然通过CDH控制台可以很方便地安装hadoop客户端，但如果客户端机器并不属于自己管辖，通过这种先安装cloudera manager agent再安装hadoop客户端的方式显然不妥当。在这种情形下，用户自己安装配置hadoop客户端，是最好的方式。

安装JDK

首先需要安装JDK

配置hosts

将服务端的hosts全部配置，添加到客户端的/etc/hosts中。

下载安装包

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz 

目前没有账号的话，已无法通过cloudera官网下载。我传了一份到百度网盘，下载地址见本文末尾。

当然，下载apache官网安装包，也是可以的。https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

安装Hadoop客户端

解压赋权

tar -zxf hadoop-2.6.0-cdh5.16.2.tar.gz -C /opt
sudo chown -R root:root /opt/hadoop-2.6.0-cdh5.16.2
复制

添加环境变量

/etc/profile追加
# JDK
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
 
# Hadoop
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.16.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 
source /etc/profile
复制

替换配置文件

从CDH控制台下载HDFS的配置文件，将hdfs-clientconfig.zip里面的所有文件，拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换已有文件。

从CDH控制台下载YARN的配置文件，将yarn-clientconfig.zip中的yarn-site.xml，拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换yarn-site.xml。

验证测试

hdfs dfs -ls /user
复制

下载地址

hadoop-2.6.0-cdh5.16.2.tar.gz下载地址： 

链接：https://pan.baidu.com/s/1tpzknIZm53ZlXFhdj78r3Q 提取码：5hnx 复制这段内容后打开百度网盘手机App，操作更方便哦

欢迎关注我的公众号“九万里大数据”，原创技术文章第一时间推送。欢迎访问原创技术博客网站 jwldata.com^[1]，排版更清晰，阅读更爽快。

引用链接

[1]
 jwldata.com: https://www.jwldata.com