AIX6.1 HACMP5.5 for Oracle10gR2 RAC(RAW Device) 恢复演练

在AIX6.1平台上使用IBM HACMP集群平台方式安装Oracle 10gR2 RAC，升级至补丁集10.2.0.3.0，并执行一系列恢复演练测试工作。

• 存储镜像恢复演练

• RMAN备份集恢复演练

主机环境

主机1：httest01    P595   4CPU     20G内存

操作系统版本：AIX 6100-06-02-1044 64bit

主机2：httest02    P595   4CPU     20G内存

操作系统版本：AIX 6100-06-02-1044 64bit

注意：

HACMP需要使用的主机别名不能包含-。

HACMP 5.5 版本对AIX操作系统的版本要求必须是AIX 5300-09版本以上。

网络环境

推荐的网络环境如下：

• 公网IP地址需要配置一个固定IP，建议使用2块网卡做ether channel绑定，每个网卡需要配置在一个独立的VLAN中；

• HACMP心跳需要一块网卡，此网卡必须和公网的IP具有相同的子网掩码；

• Oracle RAC心跳需要配置一个固定IP，建议使用2块网卡做ether channel绑定，每个网卡需要配置在一个独立的VLAN，VLAN不能做路由；

• Oracle RAC虚拟IP和公网IP必须在同一个网段；

• Oracle心跳和hacmp的心跳建议划分在单独的VLAN中（Oracle心跳是传数据的，HACMP心跳是传指令的）

综上所述，对于大型交易型系统，使用3块心跳网卡、2个VLAN，2块用于Oracle crs通信，在1个VLAN中，需要绑定；另1块用于AIX hacmp，在单独的1个VLAN中，不需要绑定。

网络环境如下：

主机1：httest01

公网地址：xxx.xxx.2.207/255.255.255.0，虚拟地址：xxx.xxx.2.208/255.255.255.0  网卡为en0

Oracle RAC心跳地址：xxx.xxx.2.207/255.255.255.0   网卡为en2

HACMP心跳地址：xxx.xxx.2.207/255.255.255.0   网卡为en2

主机2：httest02

公网地址：xxx.xxx.2.209/255.255.255.0，虚拟地址：xxx.xxx.2.210/255.255.255.0  网卡为en0

Oracle RAC心跳地址：xxx.xxx.2.209/255.255.255.0   网卡为en2

HACMP心跳地址：xxx.xxx.2.209/255.255.255.0   网卡为en2

在两台主机上，配置文件 etc/hosts文件内容如下：

存储环境

需要进行两主机上的HBA卡的dyntrk和fc_err_recov模式改变，以httest01上操作为例：

先查看HBA卡当前模式:

说明:

主机上有两个光纤模块，每个模块上有两个口，所以主机上显示有4个光纤卡，但每个模块上只连了一根线，”switch”表示已经连线。

对HBA卡进行模式修改。

确认修改成功。

检查及升级操作系统的维护级别

 (1) 检查当前的维护级别:

(2) 下载补丁包并安装:

(3) 检查升级后的维护级别:

此时,操作系统升级至6.1.0.4的SP3.

(4) 升级6.1.0.6的SP2:

(5) 检查升级后的维护级别:

安装SSH服务

根据系统版本下载OpenSSL和OpenSSH的软件,安装顺序为先安装OpenSSL,后安装OpenSSH.

(1) 安装SSL：

将SSL的所有包都选中进行安装.

(2) 安装SSH:

注意要先单独安装license.,安装完成后,后面再单独安装base包,都要选择ACCEPT newlicense agreements为yes.

(3) 检查SSHD服务是否开通:

修改SWAP

 (1) 检查当前SWAP大小:

(2) 增大SWAP:

(3) 检查SWAP是否已经修改:

说明：swap空间应不小于内存大小的75%。

修改文件系统大小

/： 2G

/opt：2G

/usr：4 G

/tmp：2 G

/home: 1G

/var：2 G

操作系统补丁环境检查

(1) 在两主机上通过以下命令检查操作系统级需要的安装包：

以下部分是Oracle软件需要的

以下部分为HACMP需要的,RSCT需要2.5.2以上

以下部分是特别需要注意,要求在8.0以上,它是C或C++编译器

注意：xlC必须包括：

* xlC.sup.aix50.rte:

* xlC.rte:

(2) HA5.5需要APAR IZ43548

创建用户和组

检查nobody用户是否存在

配置SSH信任关系和PATH环境变量

1.    主要在安装的过程当中,会用scp命令将安装节点上的文件拷贝到别的节点上.

注意：两台主机都需要操作

2.    生成秘钥对的认证文件:

在httest01上操作:

注意:在创建认证文件的时候,需要输入对方主机oracle用户的密码

注意：该命令两台主机都需要操作

3.    验证认证文件:

注意：两台主机都需要操作, 如果登录另一台主机,而不需要输入密码,则说明配置成功

以上两主机的root用户添加PATH到.profile文件中

配置ORACLE用户环境变量

在两主机上添加以下环境内容到oracle用户的.profile文件中，其中ORACLE_SID在2号主机上为htdb2。

配置系统参数和网络参数

1.    用smitty工具修改网络参数

HACMP:

2.    用smitty工具修改系统参数

参数修改后，以shutdown -Fr重启系统，确保参数生效。

修改oracle用户的资源限制

配置AIO

创建文件系统

(1) 先创建LV：

(2) 在此LV的基础上创建文件系统:

修改时区、时间、NTP同步

(1) 显示当前的时区:

(2) 修改时区:

(3) 修改时间:

(4) 时钟同步:

指定NTP服务器的IP.

Server server_ip prefer ##server_ip是NTP服务器的IP

(5) 检查NTP服务是否开通:

安装bash、ncftp、unzip、lsof等软件

修改共享盘锁盘属性

节点1:

节点2:

检查HACMP

如果在安装RAC时不打算使用HACMP，则务必不要在操作系统中安装HACMP软件，如果系统中当初已经安装过HACMP软件，则一定要删除以下相关的文件集:

• HACMP filesets (cluster.es.*)

• rsct.hacmp.rte

• rsct.compat.basic.hacmp.rte

• rsct.compat.clients.hacmp.rte

如果你打算使用HACMP双机软件，则审查相关的补丁集以确保你有必要的补丁。从HACMP5.4.1开始，HACMP需要更新的rootpre.sh脚本，可以在安装前ORACLE集群前下载并安装补丁6718715。

确认安装介质

安装介质需求为：

IBM HACMP v5.5

IBM HACMP v5.5 SP7补丁包

10.2.0.1基础包

10.2.0.3升级包

本次安装中，上述介质存放点依次为：

上图说明 PowerHA由许多软件组件组成： 

• 集群管理器clstrmgr是核心进程，它监视集群成员关系。集群管理器包含管理拓扑组件的拓扑管理器、管理资源组的资源管理器、通过RMC设施起作用的事件管理器和事件脚本以及对故障做出反应的RSCT。

• clinfo 进程提供用于在集群管理器和应用程序之间进行通信的API。clinfo还提供远程监视功能，可以在集群状态发生变化时运行脚本。

• 在 PowerHA 5 中，clcomdES使集群管理器能够以安全的方式进行通信，不需要使用 rsh 和 .rhost 文件。

在安装 AIX 之后，第一步是安装所需的文件集。安装以下文件集。可以在 AIX 基本版 CD 上找到 RSCT和 BOS 文件集。安装 HACMP 文件集需要购买 PowerHA 许可证。

 安装文件集之后，重新引导分区，并检查文件集。

安装HACMP软件

其中，SOFTWARE to install选择所有软件，除了：

cluster.hativoli

rsct.opt.fence

rsct.opt.saf

rsct.opt.storagerm

安装HACMP补丁

安装完成后，以shutdown -Fr重启系统。

在所有主机上，识别共享盘

在主节点上，对共享的裸盘，产生pvid

使第二个节点看到的PVID的盘相同

看到共享盘在每个主机节点上的PVID均相同

创建集群

说明:

该步配置文件在两台主机上都需要进行配置。而下面的所有配置都只需要在一台主机上执行，最后同步至其他节点。

为集群添加节点

说明: Communication Path to Node 选择boot地址

同理，再添加其它node:

配置并测试串口网络

(1) A机创建串口心跳:

将PORT number 修改为 0,其他属性默认即可.

(2) B机创建串口心跳:

将PORT number 修改为 0,其他属性默认即可.

(3) 测试串口之间的通讯:

A 机输入: cat < dev/tty0

B 机输入: cat etc/hosts > dev/tty0

如果A 机能读取到B 机的hosts配置文件的内容,则说明两台主机间的串口通讯配置成功。

创建HACMP 集群网络

(1) 配置网络心跳：

说明: 此处我们选择replace方式，故”Enable IP Address Takeover via IP Aliases”选择”No”; 若使用alias方式，要选择yes。

注意:

此处的”Netmask”应该填写集群心跳IP的子网掩码，而不是公网IP的子网掩码。

(2) 配置磁盘心跳:

说明:

• HACMP的心跳有基于IP的网络心跳、基于磁盘的磁盘心跳和基于串口通讯的串口心跳。而磁盘心跳和串口心跳仅仅是检测对方节点的死活，而网络心跳是用来传送HACMP的数据。所以网络心跳必须添加配置，而其他两种方式可先。

• 如果要配置串口心跳，则步骤如下

(3) 配置磁盘心跳:

配置HACMP集群网络

—配置基于IP的心跳网络:

同理：依次添加其他所有节点的HACMP集群网络接口都加入。

 2个节点的集群心跳网卡地址：

—配置基于磁盘的心跳网络:

再添加第二个节点(注意: 需要修改Device Name, Device Path, Node Name)

—配置基于串口的心跳网络:

说明:

HA的网络心跳是要用来传送数据的，而串口心跳只是验证对方是死还是活。所以网络心跳必须配置，否则在后面验证配置信息是否正确时会报错。

搜索 hacmp 相关信息

检查搜索到的 node 信息是否正确

创建concurrent vg

强烈建议：在hacmp中创建concurrent VG、LV！！！

创建心跳盘VG

同理，再为其它的数据盘创建VG.

添加资源组

在每个节点上

说明:启动脚本/停止脚本可以不存在，或内容为空！

手工切换: Fallback Policy: Never Fallback

自动切换: Fallback To Higher Priority Node In The List

其它节点importvg信息

先将A机的vg停止激活:

然后在B机import VG：

验证和同步 hacmp 配置

验证通过后，会自动将配置分发至其他主机.

启动hacmp

说明:在启动HACMP时，可以同时启动所有节点的HACMP服务，也可以只启动当前这台主机的HACMP.

NOW : 表示只启动当前主机的HACMP。

BOTH: 表示启动所有节点的HACMP。

同理：其他节点也启动HACMP。

安装完成后，以shutdown -Fr重启系统。

检查集群启动状态—查看HACMP服务状态:

topsvcs、grpsvcs、emsvcs、emaixos、ctrmc、clcomdES、clstrmgrES、clinfoES这些服务的状态是active,则说明HACMP的服务正常！

 —查看资源组状态:

—查看HACMP集群状态:

对hacmp做个配置快照

同理，在节点2也做一下快照

(1)修改PVID,保持所有节点的PVID一致:在主节点上，对共享的裸盘，产生pvid

使第二个节点看到的PVID的盘相同

看到共享盘在每个主机节点上的PVID均相同

(2)在A机创建并发VG:

说明:

• 需要创建enhanced concurrent类型的VG.

• vg的MAJOR NUMBER会自动生成,也可以手动填写,在创建vg时，会提示可以输入的值.

• 创建的VG为非自动激活.

修改VG的属性,将QUORUM属性改为NO：

其他几个VG相同操作.

 (3)LV规划:

对应命令：

A节点修改裸设备属性:

B节点修改裸设备属性:

说明:存储规划这一步也可以在配置HACMP时完成，在HACMP中创建并发VG和LV等.建议在HACMP中创建VG和LV。

 1.    选择node的界面无法出现的处理办法:

修改为:

或下载补丁:

p6718715_10203_AIX64-5L.zip

其中包括最新的rootpre.sh脚本,用来解决node界面无法出现的问题。

2. 划分voting disk, ocr 裸盘 

• Voting Disk用于解决裂脑(split-brain)故障，如果某节点丢失了与集群中其它节点的网络连接，这些冲突将通过投票磁盘中的信息来解决。文件大小一般小于20MB。

• OCR本质上是用于集群的元数据数据库，维持对集群内的资源跟踪，获知资源正在哪里运行，以及他们能够（或应当）在哪里运行。文件大小一般小于256MB。

初始化/清除裸设备

3.安装Oracle CRS

分别在两个节点运行rootpre.sh

这时,会创建一个hagsuser组, 必须在两个节点上将oracle用户添加至hagsuser组.否则在后面运行./root.sh时会报错.

说明：

也可以在先前就提前创建hagsuser组,并用oracle用户添加至hagsuser组.

点击next。 

Home Name改为CRS10gR2，productlanguage 选English、SimplifiedChinese、Traditional Chinese，然后ok，next。

Oracle进行安装前检查，看到overall result passed，next

确认显示的信息符合/etc/hosts中的定义，特别注意privatenode name中的”_”和”-“的区别，next。

根据系统规划，确认ip地址和网卡的对应关系，及其private和public属性，并通过edit进行更正后，next。

选择normal redundancy，location在此前建立的共享裸设备名

选择Normal Redundancy，location在此前建立的共享裸设备名

 开始安装数据库。

安装结束后，按照提示信息在两个节点上依次运行上述脚本。

节点1：

节点2

节点1：

节点2：

再在主机2上执行root.sh，注意如果是远程安装需要设置DISPLAY环境变量到<local ip addr>:0，以确保图形界面能启动。运行结果如看到vipca有报错，则需要手工执行vipca。

点击”Finish”开始安装。

回到安装主界面，点击”OK”，开始完成安装后配置。

检查CRS是否安装成功

点击”Next”，开始安装数据库。

选择Enterprise Edition，productlanguage 选English、SimplifiedChinese、Traditional Chinese，然后ok，next。

输入DB的Home Name和Path，next。

选择Cluster Installation，选中两个节点，next。

Oracle执行安装前检查，看到overall result passed，next。

选择”Install database Software only”仅安装数据库软件。

 点击”Installer”按钮，开始安装。

在所有节点上分别停止oracle crs 

在所有节点上均以root运行slibclean。

运行补丁包的runInstaller 安装CRS补丁。注意如果是远程安装需要设置DISPLAY环境变量到<local ip addr>:0，以确保图形界面能启动。

 从下拉框选择CRSHome，不能选DBHome，next。

全部检查通过，点击”Next”。

 点击”Installer”开始安装CRS补丁。

根据提示信息，以root用户在两台主机上分别运行：

 确认在两个主机上oracle crs 启动，如下：

查看CRS版本

说明:

在AIX6.1下，由于netstat的命令格式发生了变化，所以从10.2.0.1升级后,会导致VIP无法启动.

处理办法:

修改racgvip脚本:

修改为:

重新启动CRS.

运行补丁包中的runInstaller 安装Oracledatabase补丁

根据提示信息，在各个节点上运行”/usr/sbin/slibclean”

确认下拉框选择DBHome， next。

全部检查通过，点击”Next”。

一直选择next。

 一直选择next。

提示运行root.sh的时候，分别在两主机上用root运行root.sh后，按ok结束安装。

在两主机上按照oracle patch readme.html的要求使用changePerm.sh修改属性：

其中在询问是否继续时回答y即可。

创建RAC数据库并创建监听。

测试数据库恢复（RMAN恢复）

将刚生成的SPFILE和控制文件备份上传至目标数据库主机 

查看恢复进度：

select sid, serial#, context, sofar, totalwork, round(sofar/totalwork*100,2) "%_complete" from v$session_longops where opname like 'RMAN%' and sofar <> totalwork;

或:

select sum(sofar) total_sofar, sum(totalwork) total_totalwork, round(sum(sofar)/sum(totalwork)*100,2)"%_complete" from v$session_longops where opname like 'RMAN%' and sofar <> totalwork;

(1) 建立SPFILE:

(2) 手工注册instance和database信息至CRS中.

(3) 用srvctl启动数据库: