ORA-7445:[kclfusion_1]

客户10.2.0.4 RAC环境在启动时出现ORA-7445错误。
错误信息为：

Wed Jun 27 05:10:51 2012
Starting ORACLE instance (normal)
Wed Jun 27 05:11:24 2012
LICENSE_MAX_SESSION = 0
LICENSE_SESSIONS_WARNING = 0
Interface TYPE 1 aggr1 192.168.168.0 configured FROM OCR FOR USE AS a cluster interconnect
Interface TYPE 1 bge0 172.25.145.0 configured FROM OCR FOR USE AS  a public interface
Picked latch-free SCN scheme 3
USING LOG_ARCHIVE_DEST_10 parameter DEFAULT VALUE AS USE_DB_RECOVERY_FILE_DEST
Autotune OF undo retention IS turned ON. 
LICENSE_MAX_USERS = 0
SYS auditing IS disabled
ksdpec: called FOR event 13740 prior TO event GROUP initialization
Starting up ORACLE RDBMS Version: 10.2.0.4.0.
System parameters WITH non-DEFAULT VALUES:
  processes                = 1024
  sessions                 = 1131
  __shared_pool_size       = 11895046144
  __large_pool_size        = 16777216
  __java_pool_size         = 16777216
  __streams_pool_size      = 16777216
  spfile                   = /orcldata/oradata/orcl/spfileorcl.ora
  filesystemio_options     = SetAll
  sga_target               = 33554432000
  control_files            = /orcldata/oradata/orcl/control01.ctl, /orcldata/oradata/orcl/control02.ctl, /orcldata/oradata/orcl/control03.ctl
  db_block_size            = 8192
  __db_cache_size          = 21592276992
  compatible               = 10.2.0.3.0
  log_archive_format       = %t_%s_%r.dbf
  db_file_multiblock_read_count= 16
  cluster_database         = TRUE
  cluster_database_instances= 2
  db_recovery_file_dest    = /orcldata/archdata
  db_recovery_file_dest_size= 209715200000
  thread                   = 1
  instance_number          = 1
  undo_management          = AUTO
  undo_tablespace          = UNDOTBS1
  remote_login_passwordfile= EXCLUSIVE
  db_domain                = 
  dispatchers              = (PROTOCOL=TCP) (SERVICE=orclXDB)
  local_listener           = (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=172.25.145.88)(PORT=1521)))
  remote_listener          = LISTENERS_ORCL
  job_queue_processes      = 10
  background_dump_dest     = /oracle/admin/orcl/bdump
  user_dump_dest           = /oracle/admin/orcl/udump
  core_dump_dest           = /oracle/admin/orcl/cdump
  audit_file_dest          = /oracle/admin/orcl/adump
  db_name                  = orcl
  open_cursors             = 300
  pga_aggregate_target     = 8388608000
Cluster communication IS configured TO USE the following interface(s) FOR this instance
  192.168.168.3
Wed Jun 27 05:11:27 2012
cluster interconnect IPC version:Oracle UDP/IP (generic)
IPC Vendor 1 proto 2
PMON started WITH pid=2, OS id=12150
DIAG started WITH pid=3, OS id=12152
PSP0 started WITH pid=4, OS id=12154
LMON started WITH pid=5, OS id=12156
LMD0 started WITH pid=6, OS id=12158
LMS0 started WITH pid=7, OS id=12160
LMS1 started WITH pid=8, OS id=12164
LMS2 started WITH pid=9, OS id=12168
LMS3 started WITH pid=10, OS id=12172
LMS4 started WITH pid=11, OS id=12176
LMS5 started WITH pid=12, OS id=12180
LMS6 started WITH pid=13, OS id=12184
LMS7 started WITH pid=14, OS id=12188
MMAN started WITH pid=15, OS id=12192
DBW0 started WITH pid=16, OS id=12194
DBW1 started WITH pid=17, OS id=12196
DBW2 started WITH pid=18, OS id=12198
DBW3 started WITH pid=19, OS id=12200
LGWR started WITH pid=20, OS id=12202
CKPT started WITH pid=21, OS id=12204
SMON started WITH pid=22, OS id=12206
RECO started WITH pid=23, OS id=12208
CJQ0 started WITH pid=24, OS id=12210
MMON started WITH pid=25, OS id=12212
Wed Jun 27 05:11:28 2012
starting up 1 dispatcher(s) FOR network address '(ADDRESS=(PARTIAL=YES)(PROTOCOL=TCP))'...
MMNL started WITH pid=26, OS id=12214
Wed Jun 27 05:11:28 2012
starting up 1 shared server(s) ...
Wed Jun 27 05:11:34 2012
Errors IN file /oracle/admin/orcl/bdump/orcl1_lmon_12156.trc:
ORA-07445: exception encountered: core dump [kjfmact()+12] [SIGSEGV] [Address NOT mapped TO object] [0x000000D5C] [] []
USER: terminating instance due TO error 29702
Instance TERMINATED BY USER, pid = 11923
复制

导致这个ORA-7445错误的原因是由于出现了ORA-29702错误。该现象与MOS文档Bug 11684221 : ORA-29702 AND ORA-304 WHILE STARTING THE INSTANCES描述的非常相似。基本上可以认为是是CLUSTER层面出现了异常导致实例启动报错。

ORA-29702: error occurred IN Cluster GROUP Service operation 
Cause: An unexpected error occurred while performing a CGS operation.
Action: Verify that the LMON process IS still active. Also, CHECK the Oracle LMON trace files FOR errors.
复制

而随后的第二次启动并没有发生同样的问题，说明CLUSTER层面的异常只是一次性的，已经被解决。这个错误和CLUSTER的某些不正常的状态有关，不但出现概率很低，而且不会重现，可以安全的忽略掉。