Oracle从11.2版本开始,ASM spfile自动存储在GI安装期间创建的第一个磁盘组中。
由于voting disk和OCR存储在ASM上,因此需要在节点上启动ASM。要启动ASM,需要ASM spfile文件。
那么问题来了,当磁盘组还没mount时,ASM实例怎么读取spfile来启动呢?不仅如此,ASM不知道spfile位于哪个磁盘组,甚至于都不知道是否位于磁盘组上。再者,ASM实例也不知道ASM discovery string的值是什么。
集群软件如何解决这个问题?
从Oracle官方文档Automatic Storage Management Administrator’s Guide中介绍,链接如下:
https://docs.oracle.com/cd/E11882_01/server.112/e18951/asminst.htm#OSTMG10110
当Oracle ASM实例查找初始化参数文件时,查找顺序为:
(1) GPnP profile文件中指定的初始化参数文件的位置
(2) 如果位置未在GPnP配置文件中设置,则搜索顺序更改为:
a. Oracle ASM实例HOME目录中的SPFILE文件。例如,在Linux环境下,Oracle ASM的SPFILE在Oracle GI主目录下有如下默认路径:$ORACLE_HOME/dbs/spfile+ASM.ora
b. Oracle ASM实例HOME目录中的PFILE文件
可以看出是通过GPnP profile文件,其中包含以下重要的引导数据ASM discovery string、ASM spfile location、Voting Files存放位置等。
我们可以通过如下方式,获取GPnP profile文件中的ASM spfile
[grid@db01 ~]$ cd $ORACLE_HOME/gpnp/db01/profiles/peer
[grid@db01 peer]$ gpnptool getpval -asm_spf
Warning: some command line parameters were defaulted. Resulting command line:
/u01/app/19c/grid/bin/gpnptool.bin getpval -asm_spf -p=profile.xml -o-
+OCR/testdb-cluster/ASMPARAMETERFILE/registry.253.1152630887
ASM spfile文件名有了,但是到哪块磁盘上去找?这时候就需要知道ASM discovery string参数,也记录在GPnP profile里。
[grid@db01 peer]$ gpnptool getpval -p=profile.xml -asm_dis -o-
/dev/mapper/asmdisk*
现在我们知道了RAC如何获得ASM磁盘和spfile的位置,但在磁盘组还没有mount时,RAC如何读取spfile呢?
答案在ASM磁盘头里。
下面演示查找ASM spfile的过程。
(1)查看OCR磁盘,OCR为NORMAL冗余,总共3块磁盘
[grid@db01 peer]$ asmcmd lsdsk -G OCR
Path
/dev/mapper/asmdisk_ocr03
/dev/mapper/asmdisk_ocr01
/dev/mapper/asmdisk_ocr02
说明:实际上RAC在启动的时候是无法执行asmcmd命令的,但是知道了ASM discovery string参数,找到ASM磁盘并不是问题,这里仅仅是为了演示方便直接拿到OCR DISK。
(2)使用kfed查找ASM spfile相关的条目
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr01 | grep -E 'spf|ausize'
kfdhdb.ausize: 4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile: 0 ; 0x0f4: 0x00000000
kfdhdb.spfflg: 0 ; 0x0f8: 0x00000000
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr02 | grep -E 'spf|ausize'
kfdhdb.ausize: 4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile: 27 ; 0x0f4: 0x0000001b
kfdhdb.spfflg: 1 ; 0x0f8: 0x00000001
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr03 | grep -E 'spf|ausize'
kfdhdb.ausize: 4194304 ; 0x0bc: 0x00400000
kfdhdb.spfile: 27 ; 0x0f4: 0x0000001b --ASM spfile所在AU号
kfdhdb.spfflg: 1 ; 0x0f8: 0x00000001 --ASM spfile的标志位。如果值为1,那么ASM spfile就位于这个磁盘,AU号由kfdhdb.spfile指明
可以看到ASM spfile位于asmdisk_ocr02和asmdisk_ocr03里。
(3)使用dd读取27号AU
[root@db01 ~]# dd if=/dev/mapper/asmdisk_ocr03 of=/tmp/ASMspfile_copy.ora skip=27 bs=4M count=1
1+0 records in
1+0 records out
4194304 bytes (4.2 MB) copied, 0.0116298 s, 361 MB/s
[root@db01 ~]# ls -l /tmp/ASMspfile_copy.ora
-rw-r--r-- 1 root root 4194304 Nov 30 16:45 /tmp/ASMspfile_copy.ora
(4)使用string查看27号AU的内容
[root@db01 ~]# strings /tmp/ASMspfile_copy.ora | more
+ASM1.__asm_max_connected_clients=5
+ASM2.__asm_max_connected_clients=5
+ASM1.__oracle_base='/u01/app/grid'#ORACLE_BASE set from in memory value
+ASM2.__oracle_base='/u01/app/grid'#ORACLE_BASE set from in memory value
*._asm_disable_dangerous_failgroup_checking=TRUE
*._asm_disable_failgroup_size_checking=TRUE
*.asm_diskgroups='DATA','FRA'#Manual Mount
*.asm_diskstring='/dev/mapper/asmdisk*'
*.asm_power_limit=1
*.audit_sys_operations=FALSE
*.large_pool_size=536870912
*.memory_max_target=8589934592
*.memory_target=8589934592
*.processes=2048
*.remote_login_passwordfile='EXCLUSIVE'
*.sga_max_size=8589934592
......余下部分省略......
可以看到正是ASM spfile里的内容了。
(4)同样的方式也可以查找voting file
[grid@db01 ~]$ crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 5cbbb7af89d14fd8bfc8f9823c58d966 (/dev/mapper/asmdisk_ocr01) [OCR]
2. ONLINE 19270fa5b10f4f18bffbf2a4cb4a82bf (/dev/mapper/asmdisk_ocr02) [OCR]
3. ONLINE 1d101c79c1fc4fc1bfd30d49c9a796e3 (/dev/mapper/asmdisk_ocr03) [OCR]
Located 3 voting disk(s).
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr03 | grep vf
kfdhdb.vfstart: 56 ; 0x0ec: 0x00000038
kfdhdb.vfend: 64 ; 0x0f0: 0x00000040
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr01 | grep vf
kfdhdb.vfstart: 64 ; 0x0ec: 0x00000040
kfdhdb.vfend: 72 ; 0x0f0: 0x00000048
[grid@db01 ~]$ kfed read /dev/mapper/asmdisk_ocr02 | grep vf
kfdhdb.vfstart: 56 ; 0x0ec: 0x00000038
kfdhdb.vfend: 64 ; 0x0f0: 0x00000040
可以看到voting file占用了8个AU,我这里的环境AU_SIZE=4M,如果AU为1M,会占用32个AU。