ORA-27300 ORA-27301 ORA-27302 ORA-27303 skgpspawn5

今天一早客户就说一套10g RAC系统宕了，让分析原因，查看alert日志发现一堆ORA-27300 ORA-27301 ORA-27302 ORA-27303 skgpspawn5的错误。根据MOS(1125188.1)的解释是：

SYMPTOMS
<p >*Symptoms
<span >Briefly describe the symptoms of the problem. Remember to delete any customer specific information
User is getting Oracle error messages stemming from OS based errors:  ORA-27300 ORA-27301 ORA-27302 ORA-27303
ksvcreate: Process(m000) creation failed 
Mon Jun 14 09:22:35 2010 
Process startup failed, error stack: 
Mon Jun 14 09:22:35 2010 
Errors in file /usr01/dba/product/10.2.0/admin/abcd/bdump/abcd_psp0_1314998.trc: 
ORA-27300: OS system dependent operation:fork failed with status: 2 
ORA-27301: OS failure message: No such file or directory 
ORA-27302: failure occurred at: skgpspawn5 
ORA-27303: additional information: skgpspawn5
CAUSE
The skgpspawn5 OS error message was due to an insufficient value for maxuproc of 128 on AIX.

查看了下本机的maxuproc设置，设置的是2048，并非默认的128，查看了下数据库的processes设置（因为客户数据库保密要求，所以不具体列出，只能表述了）为1000，跟2048相差很大，照理说不会超过2048这个值。
通过ps -ef|grep oracle|wc -l命令查看发现重启后的进程数居然有1900左右，看来真的可能是因为超过2048的限制导致的，但是为什么processes限制的进程上限是1000，此时又能查到超过1900个进程喃？
想起之前查看alert日志时，发现$ORACLE_BASE/admin下面有4个实例名名字的文件夹，难道说这台主机有不止一个实例（对于一个核心库主机来说，一台主机上有多个实例的情况很少见），通过ps -ef|grep pmon查看后发现，这台主机确实不止一个实例，而是同时跑了四个实例。登录到每个实例上查看processes确认分别为1000、150、150、1600，总计2900，确实比操作系统设定的maxuproc（2048）大了不少，最后建议客户修改为4096。
不规范的规划、不规范的参数设置。。。。。