【11grac】Oracle RAC 更换存储实验

【11grac】Oracle RAC 更换存储实验
实验环境准备：
RHEL 6.5 + Oracle 11.2.0.4 RAC (2nodes)

1. OCR和Voting Disk使用的是OCR1磁盘组，底层对应3个1G大小的共享LUN，一般冗余；
2. DATA使用的是DATA1磁盘组，底层对应的是3个5G大小的共享LUN，外部冗余；
3. FRA使用的是FRA1磁盘组，底层对应的是1个5G大小的共享LUN，外部冗余；
4. 额外添加7个共享LUN(3个1G大小，4个5G大小)，用来模拟新的存储映射出来的共享LUN；
   我这里是使用Oracle VM VirtualBox 4.3虚拟机软件模拟这个环境，
   默认初始的RAC环境已经安装完毕，且已经存有业务数据。
   对于RAC环境的安装可参考：
   • Linux平台 Oracle 11gR2 RAC安装Part1：准备工作
   • Linux平台 Oracle 11gR2 RAC安装Part2：GI安装
   • Linux平台 Oracle 11gR2 RAC安装Part3：DB安装
   模拟的业务数据可参考 模拟业务最小测试用例01 第1～5步进行初始化。
   初始的RAC环境配置信息：
5. #public ip
6. 192.168.56.150 jyrac1
7. 192.168.56.152 jyrac2
8. #private ip
9. 10.10.10.11 jyrac1-priv
10. 10.10.10.12 jyrac2-priv
11. #virtual ip
12. 192.168.56.151 jyrac1-vip
13. 192.168.56.153 jyrac2-vip
14. #scan ip
15. 192.168.56.160 jyrac-scan
    本次需求：
    更换RAC的共享存储，即把之前的存储设备划出的共享LUN上的所有数据全部迁移新的存储设备划分的LUN上。
    具体就涉及到OCR，voting disk迁移，DATA迁移。
    在我这里实验具体就是指OCR1，DATA1，FRA1磁盘组的迁移。
    一、准备工作
    • 1.1查看asm磁盘组
    • 1.2查看asm的磁盘信息
    • 1.3查看存储设备信息，确定新的存储
    二、更换存储
    • 2.1迁移OCR1到OCR2
    • 2.2迁移DATA1
    • 2.3迁移FRA1
    • 2.4测试
    一、准备工作
    1.1查看asm磁盘组
    select name, TOTAL_MB, FREE_MB, state, type, COMPATIBILITY from v$asm_diskgroup;
16. SQL> select name, TOTAL_MB, FREE_MB, state, type, COMPATIBILITY from v$asm_diskgroup;
18. NAME TOTAL_MB FREE_MB STATE TYPE COMPATIBILITY
20. DATA1 15360 13502 MOUNTED EXTERN 11.2.0.0.0
21. FRA1 5120 4790 MOUNTED EXTERN 11.2.0.0.0
22. OCR1 3072 2146 MOUNTED NORMAL 11.2.0.0.0
    1.2查看asm的磁盘信息
    select GROUP_NUMBER, DISK_NUMBER, TOTAL_MB, FREE_MB, NAME, PATH from v$asm_disk order by 1,2;
23. SQL> set linesize 1000
24. SQL> r
25. 1* select GROUP_NUMBER, DISK_NUMBER, TOTAL_MB, FREE_MB, NAME, PATH from v$asm_disk order by 1,2
27. GROUP_NUMBER DISK_NUMBER TOTAL_MB FREE_MB NAME PATH

29.         1           0       1024        714 OCR1_0000                                                    /dev/asm-diskb
    复制

30.         1           1       1024        716 OCR1_0001                                                    /dev/asm-diskc
    复制

31.         1           2       1024        716 OCR1_0002                                                    /dev/asm-diskd
    复制

32.        2           0       5120       4552 DATA1_0000                                                   /dev/asm-diske
    复制

33.        2           1       5120       4549 DATA1_0001                                                   /dev/asm-diskf
    复制

34.        2           2       5120       4549 DATA1_0002                                                   /dev/asm-diskg
    复制

35.        3           0       5120       4790 FRA1_0000                                                    /dev/asm-diskh
    复制

37. 7 rows selected.
    1.3查看存储设备信息，确定新的存储
    这里实验环境是使用virtualbox模拟添加7个大小和之前一样的共享存储；
    即分别为 1G大小的3个（OCR2），5G大小的3个（DATA1），5G大小的1个（FRA1）。
    NewStorage1
    NewStorage2
    NewStorage3
    NewStorage4
    NewStorage5
    NewStorage6
    NewStorage7
    在系统中就是/dev/sdi j k l m n o
    udev绑定（两个节点root执行）
38. –New Shared Disks
39. for i in i j k l m n o;
40. do
41. echo “KERNEL==“sd*”, BUS==“scsi”, PROGRAM==”/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i", NAME=“asm-disk$i”, OWNER=“grid”, GROUP=“asmadmin”, MODE=“0660"” >> /etc/udev/rules.d/99-oracle-asmdevices.rules
42. done
    udev绑定后对应就是asm-diski,j,k,l,m,n,o
    start_udev （两个节点root执行）
    查看某个磁盘大小：
43. [root@jyrac1 ~]# fdisk -l /dev/asm-diski
45. Disk /dev/asm-diski: 1073 MB, 1073741824 bytes
46. 255 heads, 63 sectors/track, 130 cylinders
47. Units = cylinders of 16065 * 512 = 8225280 bytes
48. Sector size (logical/physical): 512 bytes / 512 bytes
49. I/O size (minimum/optimal): 512 bytes / 512 bytes
50. Disk identifier: 0x00000000
    确定/dev/asm-diski，/dev/asm-diskj，/dev/asm-diskk对应的是新加的1G大小的3个盘
    用于创建新的OCR2
    二、更换存储
    2.1迁移OCR1到OCR2
    2.1.1 创建新的OCR2磁盘组
    su – grid
    sqlplus / as sysasm
    CREATE DISKGROUP OCR2 NORMAL REDUNDANCY DISK ‘/dev/asm-diski’, ‘/dev/asm-diskj’, ‘/dev/asm-diskk’ ATTRIBUTE ‘compatible.asm’=‘11.2’;
51. SQL> CREATE DISKGROUP OCR2 NORMAL REDUNDANCY DISK ‘/dev/asm-diski’, ‘/dev/asm-diskj’, ‘/dev/asm-diskk’ ATTRIBUTE ‘compatible.asm’=‘11.2’;
53. Diskgroup created.
    查看两个节点是否添加了OCR2：
54. –节点1：
55. SQL> r
56. 1* select name, TOTAL_MB, FREE_MB, state, type, COMPATIBILITY from v$asm_diskgroup
58. NAME TOTAL_MB FREE_MB STATE TYPE COMPATIBILITY

59. ---

60. DATA1 15360 13502 MOUNTED EXTERN 11.2.0.0.0
61. FRA1 5120 4790 MOUNTED EXTERN 11.2.0.0.0
62. OCR1 3072 2146 MOUNTED NORMAL 11.2.0.0.0
63. OCR2 3072 2913 MOUNTED NORMAL 11.2.0.0.0
65. –节点2：
66. SQL> select name, TOTAL_MB, FREE_MB, state, type, COMPATIBILITY from v$asm_diskgroup
67. 2 ;
69. NAME TOTAL_MB FREE_MB STATE TYPE COMPATIBILITY

70. ---

71. DATA1 15360 13502 MOUNTED EXTERN 11.2.0.0.0
72. FRA1 5120 4790 MOUNTED EXTERN 11.2.0.0.0
73. OCR1 3072 2146 MOUNTED NORMAL 11.2.0.0.0
74. OCR2 0 0 DISMOUNTED 0.0.0.0.0
    发现节点2需要手动mount新加的ASM磁盘组
    sqlplus / as sysasm
75. SQL> alter diskgroup OCR2 mount;
77. Diskgroup altered.
    2.1.2 添加OCR信息到OCR2
    more /etc/oracle/ocr.loc
    ocrconfig -add +OCR2
    ocrcheck -config
    more /etc/oracle/ocr.loc
78. [root@jyrac1 ~]# more /etc/oracle/ocr.loc
79. ocrconfig_loc=+OCR1
80. local_only=FALSE
81. [root@jyrac1 ~]# ocrconfig -add +OCR2
82. [root@jyrac1 ~]#
83. [root@jyrac1 ~]# ocrcheck -config
84. Oracle Cluster Registry configuration is :

85.       Device/File Name         :      +OCR1
    复制

86.       Device/File Name         :      +OCR2
    复制

87. [root@jyrac1 ~]# more /etc/oracle/ocr.loc
88. #Device/file getting replaced by device +OCR2
89. ocrconfig_loc=+OCR1
90. ocrmirrorconfig_loc=+OCR2
91. local_only=false
92. [root@jyrac1 ~]# ocrcheck && crsctl query css votedisk
93. Status of Oracle Cluster Registry is as follows :

94.      Version                  :          3
    复制

95.      Total space (kbytes)     :     262120
    复制

96.      Used space (kbytes)      :       3116
    复制

97.      Available space (kbytes) :     259004
    复制

98.      ID                       : 1718040627
    复制

99.      Device/File Name         :      +OCR1
    复制

100.                                 Device/File integrity check succeeded
     复制

101.      Device/File Name         :      +OCR2
     复制

102.                                 Device/File integrity check succeeded
     复制

104.                                 Device/File not configured
     复制

106.                                 Device/File not configured
     复制

108.                                 Device/File not configured
     复制

110.      Cluster registry integrity check succeeded
     复制

112.      Logical corruption check succeeded
     复制

114. STATE File Universal Id File Name Disk group

115. ---

116. 1. ONLINE ab583d47c34a4f0ebfd46c8b04d7332b (/dev/asm-diskb) [OCR1]
117. 2. ONLINE 853e95652d994fe3bfdf21ca23e65dfc (/dev/asm-diskc) [OCR1]
118. 3. ONLINE 9f712a096a7b4f9bbfd811bff6462157 (/dev/asm-diskd) [OCR1]
119. Located 3 voting disk(s).
     2.1.3迁移VOTE DISK到新创建的ASM磁盘组OCR2上
     crsctl replace votedisk +OCR2 （一个节点root执行）
     先查询：
120. SQL> select GROUP_NUMBER,NAME,STATE,type,TOTAL_MB,free_mb,VOTING_FILES,COMPATIBILITY from v$asm_diskgroup;
122. GROUP_NUMBER NAME STATE TYPE TOTAL_MB FREE_MB VO COMPATIBILITY

123. ---

124.         1 DATA1                                                        MOUNTED                EXTERN            15360      13502 N  11.2.0.0.0
     复制

125.         2 FRA1                                                         MOUNTED                EXTERN             5120       4790 N  11.2.0.0.0
     复制

126.         3 OCR1                                                         MOUNTED                NORMAL             3072       2146 Y  11.2.0.0.0
     复制

127.         4 OCR2                                                         MOUNTED                NORMAL             3072       2244 N  11.2.0.0.0
     复制

替换为新添加的OCR2：

1. [root@jyrac1 ~]# crsctl replace votedisk +OCR2
2. Successful addition of voting disk 83f3dea9f4c24fccbf05eaa163c5c087.
3. Successful addition of voting disk ad21c1f0452e4f4abff906127ff9fcc3.
4. Successful addition of voting disk 2771819c65984f85bf366e74ee85781a.
5. Successful deletion of voting disk ab583d47c34a4f0ebfd46c8b04d7332b.
6. Successful deletion of voting disk 853e95652d994fe3bfdf21ca23e65dfc.
7. Successful deletion of voting disk 9f712a096a7b4f9bbfd811bff6462157.
8. Successfully replaced voting disk group with +OCR2.
9. CRS-4266: Voting file(s) successfully replaced
   再查询：
10. SQL> r
11. 1* select GROUP_NUMBER,NAME,STATE,type,TOTAL_MB,free_mb,VOTING_FILES,COMPATIBILITY from v$asm_diskgroup
13. GROUP_NUMBER NAME STATE TYPE TOTAL_MB FREE_MB VO COMPATIBILITY

14. ---

15.         1 DATA1                                                        MOUNTED                EXTERN            15360      13502 N  11.2.0.0.0
    复制

16.         2 FRA1                                                         MOUNTED                EXTERN             5120       4790 N  11.2.0.0.0
    复制

17.         3 OCR1                                                         MOUNTED                NORMAL             3072       2242 N  11.2.0.0.0
    复制

18.         4 OCR2                                                         MOUNTED                NORMAL             3072       2148 Y  11.2.0.0.0
    复制

发现已经voting file已经在OCR2上，然后在两个节点root查询：
ocrcheck && crsctl query css votedisk

1. [root@jyrac1 ~]# ocrcheck && crsctl query css votedisk
2. Status of Oracle Cluster Registry is as follows :

3.       Version                  :          3
   复制

4.       Total space (kbytes)     :     262120
   复制

5.       Used space (kbytes)      :       3116
   复制

6.       Available space (kbytes) :     259004
   复制

7.       ID                       : 1718040627
   复制

8.       Device/File Name         :      +OCR1
   复制

9.                                  Device/File integrity check succeeded
   复制

10.      Device/File Name         :      +OCR2
    复制

11.                                 Device/File integrity check succeeded
    复制

13.                                 Device/File not configured
    复制

15.                                 Device/File not configured
    复制

17.                                 Device/File not configured
    复制

19.      Cluster registry integrity check succeeded
    复制

21.      Logical corruption check succeeded
    复制

23. STATE File Universal Id File Name Disk group

24. ---

25. 1. ONLINE 83f3dea9f4c24fccbf05eaa163c5c087 (/dev/asm-diski) [OCR2]
26. 2. ONLINE ad21c1f0452e4f4abff906127ff9fcc3 (/dev/asm-diskj) [OCR2]
27. 3. ONLINE 2771819c65984f85bf366e74ee85781a (/dev/asm-diskk) [OCR2]
28. Located 3 voting disk(s).
30. [root@jyrac2 ~]# ocrcheck && crsctl query css votedisk
31. Status of Oracle Cluster Registry is as follows :

32.      Version                  :          3
    复制

33.      Total space (kbytes)     :     262120
    复制

34.      Used space (kbytes)      :       3116
    复制

35.      Available space (kbytes) :     259004
    复制

36.      ID                       : 1718040627
    复制

37.      Device/File Name         :      +OCR1
    复制

38.                                 Device/File integrity check succeeded
    复制

39.      Device/File Name         :      +OCR2
    复制

40.                                 Device/File integrity check succeeded
    复制

42.                                 Device/File not configured
    复制

44.                                 Device/File not configured
    复制

46.                                 Device/File not configured
    复制

48.      Cluster registry integrity check succeeded
    复制

50.      Logical corruption check succeeded
    复制

52. STATE File Universal Id File Name Disk group

53. ---

54. 1. ONLINE 83f3dea9f4c24fccbf05eaa163c5c087 (/dev/asm-diski) [OCR2]
55. 2. ONLINE ad21c1f0452e4f4abff906127ff9fcc3 (/dev/asm-diskj) [OCR2]
56. 3. ONLINE 2771819c65984f85bf366e74ee85781a (/dev/asm-diskk) [OCR2]
57. Located 3 voting disk(s).
    2.1.4 创建ASM实例spfile到新创建的OCR2 ASM磁盘组上
    一个节点grid用户登录ASM实例执行：
    create pfile=’/tmp/asmpfile.ora’ from spfile;
    create spfile=’+OCR2’ from pfile=’/tmp/asmpfile.ora’;
58. SQL> show parameter pfile
60. NAME TYPE VALUE

61. ---

62. spfile string +OCR1/jyrac-scan/asmparameterf

63.                                                          ile/registry.253.919993739
    复制

64. SQL> create pfile=’/tmp/asmpfile.ora’ from spfile;
66. File created.
68. SQL> create spfile=’+OCR2’ from pfile=’/tmp/asmpfile.ora’;
70. File created.
72. SQL> show parameter pfile
74. NAME TYPE VALUE

75. ---

76. spfile string +OCR1/jyrac-scan/asmparameterf

77.                                                         ile/registry.253.919993739
    复制

2.1.5 删除OCR原位置ASM磁盘组OCR1
一个节点root执行：
[root@jyrac1 ~]# ocrconfig -delete +OCR1
两个节点root执行：
查看OCR和VOTE新状态与位置
[root@jyrac1 ~]# ocrcheck && crsctl query css votedisk

1. [root@jyrac1 ~]# ocrconfig -delete +OCR1
2. [root@jyrac1 ~]# ocrcheck && crsctl query css votedisk
3. Status of Oracle Cluster Registry is as follows :

4.       Version                  :          3
   复制

5.       Total space (kbytes)     :     262120
   复制

6.       Used space (kbytes)      :       3116
   复制

7.       Available space (kbytes) :     259004
   复制

8.       ID                       : 1718040627
   复制

9.       Device/File Name         :      +OCR2
   复制

10.                                 Device/File integrity check succeeded
    复制

12.                                 Device/File not configured
    复制

14.                                 Device/File not configured
    复制

16.                                 Device/File not configured
    复制

18.                                 Device/File not configured
    复制

20.      Cluster registry integrity check succeeded
    复制

22.      Logical corruption check succeeded
    复制

24. STATE File Universal Id File Name Disk group

25. ---

26. 1. ONLINE 83f3dea9f4c24fccbf05eaa163c5c087 (/dev/asm-diski) [OCR2]
27. 2. ONLINE ad21c1f0452e4f4abff906127ff9fcc3 (/dev/asm-diskj) [OCR2]
28. 3. ONLINE 2771819c65984f85bf366e74ee85781a (/dev/asm-diskk) [OCR2]
29. Located 3 voting disk(s).
30. 节点2的ocrcheck输出也没问题，略。
    2.1.6 重启整个集群
    两个节点root执行：
    crsctl stop crs && crsctl start crs
    2.1.7 将旧的磁盘组drop掉
    检查参数文件：
31. SQL> show parameter pfile
33. NAME TYPE VALUE

34. ---

35. spfile string +OCR2/jyrac-scan/asmparameterf

36.                                                          ile/registry.253.920008067
    复制

检查磁盘组状态：

1. Select GROUP_NUMBER,NAME,STATE,type,TOTAL_MB,free_mb,VOTING_FILES,COMPATIBILITY from v$asm_diskgroup;
3. select GROUP_NUMBER,DISK_NUMBER,STATE,REDUNDANCY,TOTAL_MB,FREE_MB,name,path,failgroup from v$asm_disk order by GROUP_NUMBER;
   最后将旧的磁盘组mount并drop掉：
   alter diskgroup OCR1 mount;
   drop diskgroup OCR1 including contents;
4. SQL> alter diskgroup OCR1 mount;
5. Diskgroup altered.
7. SQL> drop diskgroup OCR1 including contents;
8. Diskgroup dropped.
   注：旧的磁盘组只允许在一个节点mount，如果发现多个节点mount，需要在其他节点dismount，否则会删除不掉旧的磁盘组。
   2.2迁移DATA1

2.2.1 数据磁盘组DATA1添加
确定/dev/asm-diskl，/dev/asm-diskm，/dev/asm-diskn对应的是新加的5G大小的3个盘
用于数据磁盘组DATA1添加
alter diskgroup DATA1 add disk ‘/dev/asm-diskl’ rebalance power 7;
alter diskgroup DATA1 add disk ‘/dev/asm-diskm’, ‘/dev/asm-diskn’ rebalance power 11;

1. SQL> alter diskgroup DATA1 add disk ‘/dev/asm-diskl’ rebalance power 7;
3. Diskgroup altered.
5. SQL> alter diskgroup DATA1 add disk ‘/dev/asm-diskm’, ‘/dev/asm-diskn’ rebalance power 11;
7. Diskgroup altered.
   这里说明可以单个添加，也可以多个添加。
   2.2.2 查询同步状态
8. set linesize 200
9. col NAME for a10
10. select name,allocation_unit_size,state,type,free_mb,required_mirror_free_mb req_mi_fr_mb,usable_file_mb
11. from vasm_diskgroup; 2.2.3 删除原存储的LUN 所有磁盘添加进ASM磁盘组后，删除原存储的LUN。 查询LUN path与asm_disk_name的对应关系 select name,path from vasm_disk;
12. SQL> select name,path from v$asm_disk
14. NAME PATH

15. ---

16.         /dev/asm-diskc
    复制

17.         /dev/asm-diskd
    复制

18.         /dev/asm-disko
    复制

19.         /dev/asm-diskb
    复制

20. OCR2_0001 /dev/asm-diskj
21. OCR2_0000 /dev/asm-diski
22. DATA1_0003 /dev/asm-diskl
23. DATA1_0004 /dev/asm-diskm
24. DATA1_0005 /dev/asm-diskn
25. OCR2_0002 /dev/asm-diskk
26. FRA1_0000 /dev/asm-diskh
27. DATA1_0001 /dev/asm-diskf
28. DATA1_0002 /dev/asm-diskg
29. DATA1_0000 /dev/asm-diske
31. 14 rows selected.
    确定是DATA1_0000，DATA1_0001，DATA1_0002
    删除磁盘组DATA1中旧存储对应的LUN：
32. alter diskgroup DATA1 drop disk DATA1_0000 rebalance power 7;
33. alter diskgroup DATA1 drop disk DATA1_0001,DATA1_0002 rebalance power 7;
    2.2.4 确认存储置换完成
34. select disk_number,path,total_mb,free_mb from v$asm_disk;
36. DISK_NUMBER PATH TOTAL_MB FREE_MB

37. ---

38.        0 /dev/asm-diskc                                                        0          0
    复制

39.        1 /dev/asm-diskd                                                        0          0
    复制

40.        2 /dev/asm-disko                                                        0          0
    复制

41.        3 /dev/asm-diske                                                        0          0
    复制

42.        4 /dev/asm-diskf                                                        0          0
    复制

43.       5 /dev/asm-diskg                                                        0          0
    复制

44.       6 /dev/asm-diskb                                                        0          0
    复制

45.       1 /dev/asm-diskj                                                     1024        715
    复制

46.       0 /dev/asm-diski                                                     1024        717
    复制

47.       3 /dev/asm-diskl                                                     5120       4502
    复制

48.       4 /dev/asm-diskm                                                     5120       4499
    复制

49.       5 /dev/asm-diskn                                                     5120       4501
    复制

50.       2 /dev/asm-diskk                                                     1024        714
    复制

51.       0 /dev/asm-diskh                                                     5120       4790
    复制

53. 14 rows selected.
    2.3迁移FRA1
    FRA1磁盘组和DATA1磁盘组的添加一样，
54. alter diskgroup FRA1 add disk ‘/dev/asm-disko’ rebalance power 7;
55. alter diskgroup FRA1 drop disk FRA1_0000 rebalance power 7;
56. select disk_number,path,total_mb,free_mb from v$asm_disk;
    最后确定所有盘都置换完成：
57. SQL> select disk_number,path,total_mb,free_mb from v$asm_disk;
59. DISK_NUMBER PATH TOTAL_MB FREE_MB

60. ---

61.        0 /dev/asm-diskc                                                        0          0
    复制

62.        1 /dev/asm-diskd                                                        0          0
    复制

63.        3 /dev/asm-diske                                                        0          0
    复制

64.        4 /dev/asm-diskf                                                        0          0
    复制

65.        5 /dev/asm-diskg                                                        0          0
    复制

66.       6 /dev/asm-diskb                                                        0          0
    复制

67.       1 /dev/asm-diskj                                                     1024        715
    复制

68.       0 /dev/asm-diski                                                     1024        717
    复制

69.       1 /dev/asm-disko                                                     5120       4943
    复制

70.       3 /dev/asm-diskl                                                     5120       4502
    复制

71.       4 /dev/asm-diskm                                                     5120       4499
    复制

72.       5 /dev/asm-diskn                                                     5120       4501
    复制

73.       2 /dev/asm-diskk                                                     1024        714
    复制

74.       0 /dev/asm-diskh                                                     5120       4965
    复制

76. 14 rows selected.
78. SQL> r
79. 1* select disk_number,path,total_mb,free_mb from v$asm_disk
81. DISK_NUMBER PATH TOTAL_MB FREE_MB

82. ---

83.       0 /dev/asm-diskc                                                        0          0
    复制

84.       1 /dev/asm-diskd                                                        0          0
    复制

85.       2 /dev/asm-diskh                                                        0          0
    复制

86.       3 /dev/asm-diske                                                        0          0
    复制

87.       4 /dev/asm-diskf                                                        0          0
    复制

88.       5 /dev/asm-diskg                                                        0          0
    复制

89.       6 /dev/asm-diskb                                                        0          0
    复制

90.       1 /dev/asm-diskj                                                     1024        715
    复制

91.       0 /dev/asm-diski                                                     1024        717
    复制

92.       1 /dev/asm-disko                                                     5120       4790
    复制

93.       3 /dev/asm-diskl                                                     5120       4502
    复制

94.       4 /dev/asm-diskm                                                     5120       4499
    复制

95.       5 /dev/asm-diskn                                                     5120       4501
    复制

96.       2 /dev/asm-diskk                                                     1024        714
    复制

98. 14 rows selected.
    最终确定要替换的LUN都没有数据了，主机侧就可以操作了。
    2.4测试

查看集群各资源状态：

crsctl stat res -t
查看OCR信息：
ocrcheck && crsctl query css votedisk
查询ASM实例的spfile文件：

1. sqlplus / as sysasm <<EOF
2. show parameter pfile
3. EOF
   查询之前的业务数据：
4. – 业务查询SQL 1
5. select * from t1, t2 where t1.id = t2.t1_id and t1.n = 19;
6. – 业务查询SQL 2
7. select * from t1, t2 where t1.id = t2.t1_id;
   至此，整个RAC环境更换存储的实验就全部完成了。