暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Hadoop保姆级部署手册-1-安装前准备工作

闵栋 2022-11-14
300
1、安装虚拟机vmware 9.0
#下载包地址:https://ihacksoft.com/vmware-workstation-900.html
#安装教程:https://www.laike.net/article-60-110315-0.html
#汉化:关闭所有Vmware有关的进程和服务,将汉化包中文件替换安装路径下对应的文件。
#相关文件如下:


2、安装模板虚拟机

2.0、参考资料

>安装模板虚拟机参考信息:

https://blog.csdn.net/weixin_44484668/article/details/122798474

>Centos 7.5 下载地址--CentOS-7-x86_64-DVD-1804.iso

https://mirrors.aliyun.com/centos-vault/7.5.1804/isos/x86_64/

2.1、模板虚拟机配置信息


项目

推荐值

备注

IP地址

192.168.10.128


主机名称

Hadoop101


内存

4G

建议本机物理内存1/4

cpu

8


硬盘

20G

推荐50G以上。受磁盘空间限制配置20G

磁盘空间规划建议如下/opt、/var、/data、/等目录建议均50G以上,最低20G

操作系统

CentOS  7.5



2.2、安装Centos 7.5虚拟机hadoop101

参考https://blog.csdn.net/weixin_44484668/article/details/122798474

章节2.1 、2.2、2.3、2.4、2.5 ,不再赘述

注意事项:

1、虚拟机名称命名为:hadoop101

2、配置linux克隆机主机名称映射hosts文件,配置如下

192.168.10.128 hadoop101

192.168.10.129 hadoop102

192.168.10.130 hadoop103

本机hosts修改,同理。

2.2.1、配置虚拟机


序号

步骤

内容/注意事项

备注

1

进入VMware

文件-新建虚拟机-创建新的虚拟机


2

自定义新的虚拟机

新建虚拟机向导,选择“自定义”


3

解决虚拟机的兼容性

下一步


4

选择当前虚拟机的操作系统

勾选“稍后安装操作系统”,点击下一步


5

选择虚拟机将来需要安装的系统

客户机操作系统勾选linux,版本选择CentOS 7 64位,点击下一步


6

配置虚拟机

配置虚拟机名称hadoop101,位置选择充足空间磁盘,最好放在固态硬盘上,点击下一步


7

选择CPU的个数

任务管理器中查看物理机cpu个数,设置处理器数

处理器数量*每个处理器的内核数量< 物理机cpu个数

8

设置虚拟机的内存

建议配置内存4G,点击下一步


9

选择虚拟机上网方式

选用NAT的网络模式,点击下一步


10

选择对应的文件系统的IO方式

按推荐的来 LSI Logic,点击下一步


11

选择磁盘的类型

SCSI,点击下一步


12

选择磁盘的种类

勾选“创建新虚拟磁盘”


13

选择虚拟机的磁盘大小

最大磁盘大小20G,勾选将虚拟磁盘拆分成多个文件(M)


14

虚拟机文件的存放位置

指定磁盘文件存放位置


15

虚拟机配置完毕

点击“完成”按钮

如果需要再次修改,点击“自定义硬件”

2.2.2、安装系统(CentOS 7)

注:在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开。(大部分电脑是打开的)




序号

步骤

内容/注意事项

备注

1

选择cd/dvd的方式安装系统

选择cd的方式安装系统,选择Centos7的镜像文件,点击确定,开启虚拟机开始安装系统


2

系统安装引导界面

进入系统安装引导界面,选择“Install CentOS7”,等待安装,安装过程中选择中文-简体中文(中国)


3

需要定制化的内容

1、    日期和时间  ---和电脑系统保持一致

2、    软件选择---勾选Gnome桌面

3、    安装位置

勾选“我要配置分区”,按照自己的需要配置分区,

新挂载点:

标准分区 boot  1G  ext4

Swap  4G

/  15G ext4

3个分区都配置完成后可以点击完成

4、    KDUMP---去掉“启用kdump”前面的勾选

5、    网络和主机名—打开以太网,修改主机名hadoop101

6、    SECURITY POLICY –打开,完成

开始安装,设置root密码,123456


4

虚拟机的使用引导界面

点击重启进入引导界面,点击licensing,下一步选择汉语、汉语,前进,允许访问,创建新用户和密码,安装完成


5

切换root用户

切换root用户登录



2.2.3、网络配置


序号

步骤

内容/注意事项

备注

1

编辑Vmware的网络配置

编辑-虚拟网络编辑器,修改子网ip为192.168.10.0,网关ip为192.168.10.2


2

Windows的网络配置

选择vmware相关的适配器,修改为固定值。也可以自动获得ip地址或者自动获得dns服务器地址

参考值:

Ip地址:192.168.10.1

子网掩码:255.255.255.0

默认网关:192.168.10.2

首选DNS服务器:192.168.10.2

2.2.4、虚拟机网络ip修改地址配置

#修改网络ip地址为静态ip地址,避免ip地址经常变化,从而方便节点服务器之间的相互通信 。使用root用户执行下面命令:

vim etc/sysconfig/network-scripts/ifcfg-ens33

#参考下面配置,如果不一致的该一致,缺失的添加,:wq! 保存

TYPE="Ethernet"    #网络类型(通常是Ethemet)

PROXY_METHOD="none"

BROWSER_ONLY="no"

BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)

DEFROUTE="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_FAILURE_FATAL="no"

IPV6_ADDR_GEN_MODE="stable-privacy"

NAME="ens33"  

#UUID="e83804c1-3257-4584-81bb-660665ac22f6"    #随机id 注释此行

DEVICE="ens33"   #接口名(设备,网卡)

ONBOOT="yes"   #系统启动的时候网络接口是否有效(yes/no)

#IP地址

IPADDR=192.168.10.128 

#网关   

GATEWAY=192.168.10.2      

#域名解析器

DNS1=192.168.10.2

备注:UUID需要注释或删除,防止克隆时出现两台机器的唯一标识是一样的

#执行systemctl restart network 命令重启网络服务。如果报错,则执行“reboot”命令重启虚拟机

systemctl restart network

#使用ifconfig查看当前ip地址,保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

#关闭防火墙,关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld.service


2.2.5、修改主机名和hosts文件

#修改主机名称---hadoop101

vim /etc/hostname

hadoop101

或者使用命令

hostnamectl set-hostname hadoop101

#配置linux克隆机主机名称映射hosts文件,打开/etc/hosts

#vim /etc/hosts

添加如下内容

192.168.10.128 hadoop101

192.168.10.129 hadoop102

192.168.10.130 hadoop103

#reboot重启hadoop101

#修改windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc路径,打开hosts文件并添加如下内容,然后保存。

192.168.10.128 hadoop101

192.168.10.129 hadoop102

192.168.10.130 hadoop103

2.2.6、在/opt目录下创建文件夹,并修改所属主和所属组

使用root执行下面命令,创建文件夹

mkdir /opt/module

mkdir /opt/software

2.2.7、删除系统自带的JDK

#先查看自带的jdk有几个,用下面命令

rpm -qa | grep -i java

#执行下面命令去删除

rpm -qa |grep -i java | xargs -n1 rpm -e --nodeps

#编辑profile文件,去除java相关的环境变量配置

vim /etc/profile

source /etc/profile

#最后在用命令查看是否还在或查看java版本

rpm -qa | grep -i java

java -version

参考网址:https://blog.csdn.net/wang_luwei/article/details/124794852

附注:卸载自己安装的jdk

#查看是否安装了jdk

java -version

#查看jdk安装路径

which java

#卸载命令 rm -rf jdk地址

 rm -rf  /usr/java/jdk1.8.0/

#进入安装目录查看是否有文件 ls

#删除java相关的环境变量

vim /etc/profile

source /etc/profile


文章转载自闵栋,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论