晕死,服务器内存不够.

System configuration: lcpu=8 mem=7936MB

kthr    memory              page              faults        cpu
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
6  0 1138252  7153   0   0   0   0    0   0 344 5070249 1073 23 77  0  0
6  0 1138264  7134   0   0   0   0    0   0 310 5091146 966 22 78  0  0
6  0 1138262  7129   0   0   0   0    0   0 307 5097119 1002 21 79  0  0
6  0 1138263  7121   0   0   0   0    0   0 226 5097650 826 21 79  0  0
6  0 1138264  7315   0   0   0   0    0   0 193 5102712 768 21 79  0  0
6  0 1138240  7326   0   0   0   0    0   0 207 5102356 836 21 79  0  0
6  0 1138268  7292   0   0   0   0    0   0 179 5102452 739 21 79  0  0
7  0 1138288  7266   0   0   0   0    0   0 278 5078430 970 23 77  0  0
6  0 1138323  7225   0   0   0   0    0   0 170 5084714 745 22 78  0  0
6  0 1138311  7231   0   0   0   0    0   0 283 5095267 952 21 79  0  0
6  0 1138344  7180   0   0   0   0    0   0 224 5044781 862 23 77  0  0
6  0 1138326  7191   0   0   0   0    0   0 168 5093058 738 21 79  0  0
7  0 1138313  7198   0   0   0   0    0   0 429 5046922 1270 24 76  0  0
6  0 1138314  7190   0   0   0   0    0   0 285 5085422 948 22 78  0  0
6  0 1132308 13190   0   0   0   0    0   0 213 5103808 802 21 79  0  0
6  0 1132253 13239   0   0   0   0    0   0 281 5083231 1008 22 78  0  0
6  0 1132522 12963   0   0   0   0    0   0 258 5045563 888 22 78  0  0
6  0 1134672 10807   0   0   0   0    0   0 369 5071714 1116 22 78  0  0
7  0 1137147  8325   0   0   0   0    0   0 329 5028688 1019 24 76  0  0
6  0 1136116  9335   0   4   0   0    0   0 173 4973919 757 27 72  0  0
# vmstat 3 100
ksh: 0403-031 The fork function failed. There is not enough memory available.
# vmstat 3 100
ksh: 0403-031 The fork function failed. There is not enough memory available.
# ls
ksh: 0403-031 The fork function failed. There is not enough memory available.
# ls


ksh: 0403-031 The fork function failed. There is not enough memory available.
# # # ls
ksh: 0403-031 The fork function failed. There is not enough memory available.
# ^A



先发一点上来,因为服务器现在还不叼我.晕死......估计肯定是ORACLE10的问题.麻烦大家帮我看看哈.

[ 本帖最后由 紫枫猪猪 于 2007-6-8 18:23 编辑 ]

老大们啊,还需要那些信息啊,我好贴上来.

# prtconf
System Model: IBM,9133-55A
Machine Serial Number: 060F2EH
Processor Type: PowerPC_POWER5
Number Of Processors: 4
Processor Clock Speed: 1900 MHz
CPU Type: 64-bit
Kernel Type: 64-bit
LPAR Info: 1 06-0F2EH
Memory Size: 7936 MB
Good Memory Size: 7936 MB
Platform Firmware level: SF240_284
Firmware Version: IBM,SF240_284
Console Login: enable
Auto Restart: true
Full Core: false

Network Information
        Host Name: cgsjk1
        IP Address: 10.192.208.4
        Sub Netmask: 255.255.255.0
        Gateway: 10.192.208.1
        Name Server:
        Domain Name:

Paging Space Information
        Total Paging Space: 512MB
        Percent Used: 97%

Volume Groups Information
==============================================================================
rootvg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk0            active            546         0           00..00..00..00..00
hdisk1            active            546         318         100..00..00..109..1
9
==============================================================================

dbvg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk2            active            799         132         00..00..00..00..132
hdisk3            active            799         132         00..00..00..00..132
hdisk4            active            799         140         00..00..00..00..140
hdisk5            active            599         135         00..00..00..15..120
==============================================================================

ocr1vg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk6            active            3           1           01..00..00..00..00
==============================================================================

ocr2vg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk7            active            3           1           01..00..00..00..00
==============================================================================

vote1vg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk8            active            1           0           00..00..00..00..00
==============================================================================

vote2vg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk9            active            1           0           00..00..00..00..00
==============================================================================

vote3vg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdisk10           active            1           0           00..00..00..00..00
==============================================================================

INSTALLED RESOURCE LIST

The following resources are installed on the machine.
+/- = Added or deleted from Resource List.
*   = Diagnostic support not available.

  Model Architecture: chrp
  Model Implementation: Multiple Processor, PCI bus

+ sys0
System Object
+ sysplanar0
System Planar
* vio0
Virtual I/O Bus
* vsa1             U787B.001.DNWF731-P1-T2
LPAR Virtual Serial Adapter
* vty1             U787B.001.DNWF731-P1-T2-L0
Asynchronous Terminal
* vsa0             U787B.001.DNWF731-P1-T1
LPAR Virtual Serial Adapter
* vty0             U787B.001.DNWF731-P1-T1-L0
Asynchronous Terminal
* pci2             U787B.001.DNWF731-P1
PCI Bus
* pci7             U787B.001.DNWF731-P1
PCI Bus
+ ent0             U787B.001.DNWF731-P1-T9
2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
+ ent1             U787B.001.DNWF731-P1-T10
2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
* pci8             U787B.001.DNWF731-P1
PCI Bus
+ usbhc0           U787B.001.DNWF731-P1
USB Host Controller (33103500)
+ usbhc1           U787B.001.DNWF731-P1
USB Host Controller (33103500)
* pci9             U787B.001.DNWF731-P1
PCI Bus
+ sa0              U787B.001.DNWF731-P1-C1-T1
2-Port Asynchronous EIA-232 PCI Adapter
+ tty0             U787B.001.DNWF731-P1-C1-T1-L0
Asynchronous Terminal
+ tty1             U787B.001.DNWF731-P1-C1-T1-L1
Asynchronous Terminal
* pci10            U787B.001.DNWF731-P1
PCI Bus
* pci11            U787B.001.DNWF731-P1-C2
PCI Bus
+ lai0             U787B.001.DNWF731-P1-C2-T1
GXT135P Graphics Adapter
* pci1             U787B.001.DNWF731-P1
PCI Bus
* pci3             U787B.001.DNWF731-P1
PCI Bus
+ sisscsia0        U787B.001.DNWF731-P1
PCI-X Dual Channel Ultra320 SCSI Adapter
+ scsi0            U787B.001.DNWF731-P1-T14
PCI-X Dual Channel Ultra320 SCSI Adapter bus
+ rmt0             U787B.001.DNWF731-P1-T14-L0-L0
LVD SCSI 4mm Tape Drive (36000 MB)
+ hdisk0           U787B.001.DNWF731-P1-T14-L5-L0
16 Bit LVD SCSI Disk Drive (73400 MB)
+ hdisk1           U787B.001.DNWF731-P1-T14-L8-L0
16 Bit LVD SCSI Disk Drive (73400 MB)
+ ses0             U787B.001.DNWF731-P1-T14-L15-L0
SCSI Enclosure Services Device
+ scsi1            U787B.001.DNWF731-P1-T15
PCI-X Dual Channel Ultra320 SCSI Adapter bus
* pci5             U787B.001.DNWF731-P1
PCI Bus
+ fcs1             U787B.001.DNWF731-P1-C4-T1
FC Adapter
* fcnet1           U787B.001.DNWF731-P1-C4-T1
Fibre Channel Network Protocol Device
* fscsi1           U787B.001.DNWF731-P1-C4-T1
FC SCSI I/O Controller Protocol Device
* dac2             U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84
1815     DS4800 Disk Array Controller
* dac3             U787B.001.DNWF731-P1-C4-T1-W204400A0B8113A84
1815     DS4800 Disk Array Controller
* pci4             U787B.001.DNWF731-P1
PCI Bus
* ide0             U787B.001.DNWF731-P1-T16
ATA/IDE Controller Device
+ cd0              U787B.001.DNWF731-P4-D2
IDE DVD-ROM Drive
* pci6             U787B.001.DNWF731-P1
PCI Bus
* pci0             U787B.001.DNWF731-P1
PCI Bus
+ fcs0             U787B.001.DNWF731-P1-C3-T1
FC Adapter
* fcnet0           U787B.001.DNWF731-P1-C3-T1
Fibre Channel Network Protocol Device
* fscsi0           U787B.001.DNWF731-P1-C3-T1
FC SCSI I/O Controller Protocol Device
* dac0             U787B.001.DNWF731-P1-C3-T1-W201400A0B8113A84
1815     DS4800 Disk Array Controller
* dac1             U787B.001.DNWF731-P1-C3-T1-W201500A0B8113A84
1815     DS4800 Disk Array Controller
* rmt1             U787B.001.DNWF731-P1-C3-T1-W500308C09A65A005-L0
IBM 3580 Ultrium Tape Drive (FCP)
* smc0             U787B.001.DNWF731-P1-C3-T1-W500308C09A65A005-L1000000000000
IBM 3576 Library Medium Changer (FCP)
* rmt2             U787B.001.DNWF731-P1-C3-T1-W500308C09A65A001-L0
IBM 3580 Ultrium Tape Drive (FCP)
* smc1             U787B.001.DNWF731-P1-C3-T1-W500308C09A65A001-L1000000000000
IBM 3576 Library Medium Changer (FCP)
+ L2cache0
L2 Cache
+ mem0
Memory
+ proc0
Processor
+ proc2
Processor
+ proc4
Processor
+ proc6
Processor
* mouse0           U787B.001.DNWF731-P1-T8-L1
USB mouse
* kbd0             U787B.001.DNWF731-P1-T8-L1
USB keyboard
+ hdisk2           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L0
1815     DS4800 Disk Array Device
+ hdisk3           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L1000000000000
1815     DS4800 Disk Array Device
+ hdisk4           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L2000000000000
1815     DS4800 Disk Array Device
+ hdisk5           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L3000000000000
1815     DS4800 Disk Array Device
+ hdisk6           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L4000000000000
1815     DS4800 Disk Array Device
+ hdisk7           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L5000000000000
1815     DS4800 Disk Array Device
+ hdisk8           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L6000000000000
1815     DS4800 Disk Array Device
+ hdisk9           U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L7000000000000
1815     DS4800 Disk Array Device
+ hdisk10          U787B.001.DNWF731-P1-C4-T1-W204500A0B8113A84-L8000000000000
1815     DS4800 Disk Array Device
#

[ 本帖最后由 紫枫猪猪 于 2007-6-8 17:39 编辑 ]

看前面的很正常啊，是不是当时还没起ORACLE？而你ORACLE的SGA和PGA设大了？

USER        PID %CPU %MEM   SZ  RSS    TTY STAT    STIME  TIME COMMAND
root      16680  6.3  0.0  384  384      - A      Jun 02 4420:42 wait
root       8196  6.1  0.0  384  384      - A      Jun 02 4263:24 wait
root      57372  6.1  0.0  384  384      - A      Jun 02 4252:14 wait
root        288  6.0  0.0  384  384      - A      Jun 02 4232:06 wait
root      61470  5.5  0.0  384  384      - A      Jun 02 3868:32 wait
root      12582  5.4  0.0  384  384      - A      Jun 02 3774:02 wait
root      53274  5.4  0.0  384  384      - A      Jun 02 3769:02 wait
root      20778  5.3  0.0  384  384      - A      Jun 02 3738:03 wait
root     225290  2.1  1.0 100948 62964      - A      Jun 02 1488:55 /oracle/product/10.2.0/crs/bin/crsd.bin reboot
oracle   557330  0.3  1.0 90344 62464      - A    16:22:58  1:32 oraclecdcgk1 (LOCAL=NO)
oracle   438532  0.2  1.0 89768 61888      - A    17:31:38  0:05 oraclecdcgk1 (LOCAL=NO)
oracle   545204  0.2  1.0 90452 62572      - A    16:22:58  1:09 oraclecdcgk1 (LOCAL=NO)
oracle   246140  0.1  1.0 89940 62060      - A    17:33:05  0:02 oraclecdcgk1 (LOCAL=NO)
oracle   426488  0.1  1.0 90000 62120      - A    16:22:45  0:32 oraclecdcgk1 (LOCAL=NO)
oracle   499968  0.1  1.0 90176 62296      - A    16:27:57  0:28 oraclecdcgk1 (LOCAL=NO)
root     286866  0.0  0.0  852  412      - A      Jun 02 28:33 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117256
root     278918  0.0  0.0  852  620      - A      Jun 02 28:33 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117251
root     278562  0.0  0.0  848  716      - A      Jun 02 28:32 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117255
root     229764  0.0  0.0  848  624      - A      Jun 02 28:32 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117254
root     299380  0.0  0.0  856  648      - A      Jun 02 28:31 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117298
root     311504  0.0  0.0  852  588      - A      Jun 02 28:31 /usr/sbin/gsclvmd -r 30 -i 300 -t 50 -c 0000d4850000d600000001117297
root     233476  0.0  0.0  892  816      - A      Jun 02 24:45 /usr/bin/xmwlm -L
root     262600  0.0  0.0 9620 6376      - A      Jun 02 24:14 hagsd grpsvcs
oracle   274900  0.0  0.0 30824 23704      - A      Jun 02 12:22 /oracle/product/10.2.0/crs/bin/ocssd.bin
oracle   159812  0.0  1.0 98052 68440      - A      Jun 02  8:29 ora_lms0_cdcgk1
oracle   274458  0.0  1.0 98204 69236      - A      Jun 02  7:30 ora_lms1_cdcgk1
oracle   254028  0.0  1.0 89720 61840      - A    16:27:57  0:03 oraclecdcgk1 (LOCAL=NO)
oracle   262310  0.0  1.0 98828 67752      - A      Jun 02  5:46 ora_lmon_cdcgk1
oracle   323950  0.0  0.0 31500 16188      - A      Jun 02  5:07 /oracle/product/10.2.0/db_1/bin/tnslsnr LISTENER_CGSJK1 -inherit
oracle   323750  0.0  1.0 98772 68752      - A      Jun 02  3:54 ora_lmd0_cdcgk1
oracle   352400  0.0  1.0 89196 59916      - A      Jun 02  3:45 ora_cjq0_cdcgk1
root     123276  0.0  0.0  504  444      - A      Jun 02  3:09 /usr/sbin/syncd 60
root          0  0.0  0.0  384  384      - A      Jun 02  2:30 swapper
root      28974  0.0  0.0  960  960      - A      Jun 02  2:20 gil
root     192804  0.0  0.0 4232 2660      - A      Jun 02  2:16 /usr/es/sbin/cluster/clstrmgr
oracle   319724  0.0  1.0 111396 74596      - A      Jun 02  1:53 ora_diag_cdcgk1
oracle   270636  0.0  1.0 87092 57804      - A      Jun 02  1:40 ora_mmnl_cdcgk1
oracle   364972  0.0  1.0 89024 61144      - A    13:12:45  0:03 oraclecdcgk1 (LOCAL=NO)
oracle   336114  0.0  1.0 56432 40480      - A      Jun 02  1:39 /oracle/product/10.2.0/db_1/bin/racgimon startd cdcgk
root     327826  0.0  0.0 1908 1904      - A      Jun 02  1:37 /usr/sbin/rsct/bin/hats_rs232_nim
root     475464  0.0  0.0 2156 1132      - A    14:28:53  0:02 dtfile
root     381088  0.0  0.0 1944 1948      - A      Jun 02  1:26 /usr/sbin/rsct/bin/hats_nim
oracle   307442  0.0  0.0 56800 37156      - A      Jun 02  1:23 /oracle/product/10.2.0/crs/jdk/jre/bin/java.bin -Dibm.stream.nio=tru
oracle   295020  0.0  1.0 92036 60596      - A      Jun 02  1:22 ora_pmon_cdcgk1
root     328128  0.0  0.0 8500 8632      - A      Jun 02  1:22 /usr/sbin/rsct/bin/hatsd -n 1 -o deadManSwitch
root       4386  0.0  0.0  448  448      - A      Jun 02  1:12 sched
oracle   372856  0.0  1.0 99356 65304      - A      Jun 02  1:02 ora_lck0_cdcgk1
oracle   254310  0.0  1.0 88348 60140      - A      Jun 02  1:00 ora_ckpt_cdcgk1
root     303176  0.0  0.0 9668 9476      - A      Jun 02  1:00 harmad -t HACMP -n cdcgcls
oracle   336382  0.0  1.0 87144 56912      - A      Jun 02  0:59 ora_lgwr_cdcgk1
oracle   340080  0.0  1.0 90112 61720      - A      Jun 02  0:58 ora_mmon_cdcgk1
oracle   344554  0.0  1.0 88352 59108      - A      Jun 02  0:53 oraclecdcgk1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
oracle   286980  0.0  1.0 89236 60968      - A      Jun 02  0:50 ora_smon_cdcgk1
root      49176  0.0  0.0  448  448      - A      Jun 02  0:48 xmgc
oracle   479254  0.0  1.0 88924 61036      - A    10:41:46  0:02 oraclecdcgk1 (LOCAL=NO)
oracle   180710  0.0  1.0 97900 64808      - A      Jun 02  0:38 ora_dbw0_cdcgk1
oracle   147594  0.0  0.0 49544 37548      - A      Jun 02  0:37 /oracle/product/10.2.0/crs/bin/evmd.bin
root     102786  0.0  0.0 5056 3784      - A      Jun 02  0:30 /usr/lpp/X11/bin/X -D /usr/lib/X11//rgb -T -force :0 -auth /var/dt/A
root     315772  0.0  0.0 3440 2216      - A      Jun 02  0:29 /usr/es/sbin/cluster/clinfo
oracle   315628  0.0  1.0 86860 55840      - A      Jun 02  0:27 ora_psp0_cdcgk1
oracle   499808  0.0  1.0 89196 61304      - A    10:43:20  0:01 oraclecdcgk1 (LOCAL=NO)
root     160246  0.0  0.0 1216 1216      - A      Jun 02  0:19 rpc.lockd
root     340334  0.0  0.0 1988 1300      - A      Jun 02  0:17 /usr/sbin/rsct/bin/IBM.HostRMd
oracle   344282  0.0  0.0 7040 4660      - A      Jun 02  0:13 /oracle/product/10.2.0/crs/opmn/bin/ons -d
oracle   496006  0.0  1.0 88168 58164      - A      Jun 04  0:09 oraclecdcgk1 (LOCAL=NO)
oracle   356426  0.0  1.0 87136 56436      - A      Jun 02  0:10 oraclecdcgk1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
oracle   266580  0.0  1.0 107120 73620      - A      Jun 02  0:10 ora_arc0_cdcgk1
root      16392  0.0  0.0  640  640      - A      Jun 02  0:10 lrud
oracle   307512  0.0  1.0 96720 62608      - A      Jun 02  0:09 ora_qmnc_cdcgk1
root     237592  0.0  0.0 1960 1400      - A      Jun 02  0:09 /usr/sbin/rsct/bin/rmcd -a IBM.LPCommands -r
root      90192  0.0  0.0  448  448      - A      Jun 02  0:08 rt-fcparray
oracle   319812  0.0  1.0 88232 57988      - A      Jun 02  0:07 oraclecdcgk1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
oracle   348416  0.0  1.0 86852 57152      - A      Jun 02  0:07 ora_mman_cdcgk1
root     233978  0.0  0.0 33724 18612      - A      Jun 02  0:07 dsmsta quiet
root     164004  0.0  0.0 1992 1728      - A      Jun 02  0:06 sendmail: accepting connections
oracle   295336  0.0  1.0 107420 70984      - A      Jun 02  0:04 ora_arc1_cdcgk1
root     115128  0.0  0.0 1152  820      - A      Jun 02  0:04 /usr/sbin/snmpd
root      28686  0.0  0.0  512  512      - A      Jun 02  0:04 xmfreed
root          1  0.0  0.0  664  640      - A      Jun 02  0:03 /etc/init
root     205134  0.0  0.0  676  432      - A      Jun 02  0:02 /usr/sbin/gsclvmd
root      94570  0.0  0.0  448  448      - A      Jun 02  0:02 aioserver
root     106602  0.0  0.0  448  448      - A      Jun 02  0:02 aioserver
root      24588  0.0  0.0  640  640      - A      Jun 02  0:02 psmd
oracle   332266  0.0  1.0 86936 57876      - A      Jun 02  0:01 ora_q001_cdcgk1
oracle   164202  0.0  0.0 21328 15312      - A      Jun 02  0:01 /oracle/product/10.2.0/crs/bin/evmlogger.bin -o /oracle/product/10.2
root     143844  0.0  0.0  992  640      - A      Jun 02  0:01 /usr/sbin/aixmibd
root     139418  0.0  0.0  448  448      - A      Jun 02  0:01 rgsr
root     122988  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      82272  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root     114788  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      94330  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      86370  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      90470  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      65908  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root     127088  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root     102498  0.0  0.0  448  448      - A      Jun 02  0:01 aioserver
root      45382  0.0  0.0 3584 3584      - A      Jun 02  0:01 j2pg
root       8484  0.0  0.0  448  448      - A      Jun 02  0:01 sched
root      45078  0.0  0.0 1472 1472      - A      Jun 02  0:01 pilegc
root      12294  0.0  0.0  448  448      - A      Jun 02  0:01 sched
root     213478  0.0  0.0  680  516      - A      Jun 02  0:00 /bin/ksh /usr/tivoli/tsm/StorageAgent/bin/rc.tsmstgagnt
root     201174  0.0  0.0  264  216      - A      Jun 02  0:00 /usr/sbin/qdaemon
root     197104  0.0  0.0  808  656      - A      Jun 02  0:00 /usr/sbin/srcmstr
root     209374  0.0  0.0  436  364   lft0 A      Jun 02  0:00 /usr/sbin/getty /dev/console
oracle   225586  0.0  1.0 87788 56104      - A      Jun 02  0:00 ora_d000_cdcgk1
root     188882  0.0  0.0  280  208      - A      Jun 02  0:00 /usr/sbin/writesrv
oracle   217494  0.0  1.0 87388 59508      - A    17:32:35  0:00 oraclecdcgk1 (LOCAL=NO)
root     184804  0.0  0.0  664  324      - A      Jun 02  0:00 /usr/sbin/muxatmd
root     520684  0.0  0.0 2360 2440      - A    14:28:52  0:00 dtwm
root     491998  0.0  0.0 2160 2204      - A    14:28:50  0:00 /usr/dt/bin/dtsession
oracle   524796  0.0  1.0 87388 59508      - A    17:32:19  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   303370                            Z              0:00 <defunct>
oracle   311554                            Z              0:00 <defunct>
oracle   442746  0.0  1.0 87388 59508      - A    17:31:59  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   483592  0.0  1.0 87388 59508      - A    17:32:37  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   487798  0.0  1.0 87152 59272      - A    17:31:27  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   360890  0.0  1.0 88396 60516      - A    13:13:11  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   405952  0.0  1.0 87388 59508      - A    17:32:39  0:00 oraclecdcgk1 (LOCAL=NO)
root     590202  0.0  0.0  716  736  pts/0 A    14:51:18  0:00 -ksh
oracle   258442  0.0  0.0  700  500      - A      Jun 02  0:00 /bin/sh /oracle/product/10.2.0/crs/jdk/jre/bin/java -DPROGRAM=gsd -c
root     610636  0.0  0.0  492  512      - A    17:33:52  0:00 /usr/dt/bin/dtscreen
oracle   250308  0.0  0.0  716  588      - A      Jun 02  0:00 /oracle/product/10.2.0/crs/opmn/bin/ons -d
oracle   238026  0.0  1.0 91556 60800      - A      Jun 02  0:00 ora_s000_cdcgk1
root     618816  0.0  0.0  708  724      - A    16:30:55  0:00 telnetd -a
oracle   282928  0.0  1.0 87140 57536      - A      Jun 02  0:00 ora_reco_cdcgk1
root     291238  0.0  0.0 4336 3352      - A      Jun 02  0:00 haemd HACMP 1 cdcgcls SECNOSUPPORT
oracle   594214  0.0  1.0 87388 59508      - A    17:32:17  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   606508  0.0  1.0 87584 59704      - A    13:15:54  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   602562  0.0  1.0 87388 59508      - A    17:32:33  0:00 oraclecdcgk1 (LOCAL=NO)
root     200924  0.0  0.0  512  512      - A      Jun 02  0:00 kbiod
root     205030  0.0  0.0   88   80      - A      Jun 02  0:00 /usr/sbin/uprintfd
root     209100  0.0  0.0  952  776      - A      Jun 02  0:00 /usr/sbin/hostmibd
root     196622  0.0  0.0 1268  916      - A      Jun 02  0:00 /usr/sbin/snmpmibd
root     180406  0.0  0.0  512  512      - A      Jun 02  0:00 nfsSM
root     184506  0.0  0.0  448  448      - A      Jun 02  0:00 rdpgc
oracle   192552  0.0  1.0 88460 57500      - A      Jun 02  0:00 ora_q000_cdcgk1
root     213234  0.0  0.0 1984 1104      - A      Jun 02  0:00 /usr/sbin/rsct/bin/IBM.ERrmd
root     331994  0.0  0.0  576  592  pts/0 A    17:35:19  0:00 vmstat 3 200
root     348266  0.0  0.0 1276 1356      - A    14:28:51  0:00 /usr/dt/bin/ttsession -s
oracle   376978  0.0  0.0  672  488      - A      Jun 02  0:00 /bin/sh -c ulimit -c unlimited; cd /oracle/product/10.2.0/crs/log/cg
oracle   299070  0.0  1.0 87388 59508      - A    17:32:17  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   249952  0.0  1.0 87388 59508      - A    17:32:10  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   258194  0.0  1.0 87388 59508      - A    17:32:15  0:00 oraclecdcgk1 (LOCAL=NO)
oracle   290858  0.0  1.0 87720 57616      - A      Jun 02  0:00 oraclecdcgk1 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
root     176324  0.0  0.0  928  616      - A      Jun 02  0:00 /usr/sbin/portmap
root      65680  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      69708  0.0  0.0 1472 1472      - A      Jun 02  0:00 dog
root      73882  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      40980  0.0  0.0  448  448      - A      Jun 02  0:00 psgc
root      20490  0.0  0.0  448  448      - A      Jun 02  0:00 vmptacrt
root      32784  0.0  0.0  448  448      - A      Jun 02  0:00 memp_rbd
root      36882  0.0  0.0  448  448      - A      Jun 02  0:00 memgrdd
root      77902  0.0  0.0  448  448      - A      Jun 02  0:00 usbCfgDev
root     131192  0.0  0.0  752  656      - A      Jun 02  0:00 dtlogin <:0>        -daemon
root     143552  0.0  0.0  292  160      - A      Jun 02  0:00 /usr/sbin/rpc.lockd -d 0
root     168104  0.0  0.0  460  412      - A      Jun 02  0:00 /usr/sbin/inetd
root     118888  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      82070  0.0  0.0 1620 1392      - A      Jun 02  0:00 /usr/sbin/rsct/bin/IBM.AuditRMd
root      98404  0.0  0.0  448  448      - A      Jun 02  0:00 AtapeManager
root     110694  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root     110998  0.0  0.0  748  476      - A      Jun 02  0:00 /bin/sh /etc/init.cssd daemon
root     119186  0.0  0.0  764  656      - A      Jun 02  0:00 /usr/lib/errdemon
root     127378  0.0  0.0  344  276      - A      Jun 02  0:00 /usr/sbin/syslogd
root     106872  0.0  0.0  372  276      - A      Jun 02  0:00 /usr/dt/bin/dtlogin -daemon
root      74084  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      78178  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      98670  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
daemon   131516  0.0  0.0 1352  944      - A      Jun 02  0:00 /usr/sbin/rpc.statd -d 0 -t 50
root     168398  0.0  0.0  148   92      - A      Jun 02  0:00 /usr/sbin/biod 6
root     172496  0.0  0.0  476  424      - A      Jun 02  0:00 /usr/sbin/cron
root     176592  0.0  0.0  448  448      - A      Jun 02  0:00 random
root     156084  0.0  0.0  448  448      - A      Jun 02  0:00 rtcmd
root     139670  0.0  0.0  448  448      - A      Jun 02  0:00 n4bg
root     147864  0.0  0.0  428  428      - A      Jun 02  0:00 /usr/ccs/bin/shlap64
oracle   151836  0.0  1.0 87388 59508      - A    17:32:47  0:00 oraclecdcgk1 (LOCAL=NO)
root      69978  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root     516266  0.0  0.0  144  148      - A    17:35:25  0:00 /bin/sleep 30
root     524394  0.0  0.0  580  592      - A    17:33:52  0:00 /usr/dt/bin/dtexec -open 0 -ttprocid 1.16QFSZ 01 348266 1342177279 1
root     528470  0.0  0.0  708  724      - A    14:51:18  0:00 telnetd -a
root     508044  0.0  0.0  744  764      - A    17:30:53  0:00 /bin/sh /etc/init.cssd fatal
oracle   413752  0.0  1.0 87140 59260      - A    17:33:23  0:00 ora_pz99_cdcgk1
oracle   426222  0.0  1.0 87348 59468      - A    17:31:27  0:00 oraclecdcgk1 (LOCAL=NO)
root     458772  0.0  0.0  848  876  pts/1 A    17:35:53  0:00 ps waux
root     532576  0.0  0.0 1724  700      - A    14:28:56  0:00 dtfile
root      41332  0.0  0.0  448  448      - A      Jun 02  0:00 aioserver
root      49612  0.0  0.0  448  448      - A      Jun 02  0:00 posix_aioserver
root      61804  0.0  0.0  448  448      - A      Jun 02  0:00 lvmbb
root      33072  0.0  0.0  512  512      - A      Jun 02  0:00 wlmsched
root     536660  0.0  0.0  716  736  pts/1 A    16:30:55  0:00 -ksh
root     565458  0.0  0.0 1368 1420      - A    14:28:51  0:00 rpc.ttdbserver 100083 1
root      24876  0.0  0.0  448  448      - A      Jun 02  0:00 netm

做的是双机,已经用了几天了,就将才出的问题,但没做什么大的应用啊.

这个......老大,SGA和PGA在什么地方看啊?

在出问题之前，做过什么改变么？
AIX、ORACLE和HA的版本，以及补丁情况？

最低的时候,我监控到的内存FRE在5000以下.

内存FRE在200以上都属于正常啊

# oslevel -s
5300-05-05

oracle 10.2.0

ha这个如何看啊.

我这里低于10000就明显感觉慢了,执行命令很慢,8000左右就telnet不起了.

[ 本帖最后由 紫枫猪猪 于 2007-6-8 18:12 编辑 ]

ps -ef | grep NO | wc -l 看看外部连接数的数目
sqlplus  '/ as sysdba'； 在oracle用户下 进入数据库 执行如下语句：
show parameters sga;
show parameters pga;
show parameters process;
看看这些值的大小

太感谢两位了,

现在领导叫我把重启了试试,幸好还在调试阶段.

郁闷死了...!!!!!

# shutdown -F

ksh: 0403-031 The fork function failed. There is not enough memory available.
#

现在是资源耗尽，命令都执行不了了。

不是耗尽了,晕哦,我该切个图的,
我开了两个telnet,一个执行vmstat 3 100
一个执行关机.


在关机的时候我还查了的,fre有6000多,

太怪异了吧？
是搞到两台机器上了吧？

绝对没有.昨天我才看了,<亲历惊心动魄48小时！>-

The fork function failed. There is not enough memory available

这是典型的内存和交换区耗尽啊

坏内存了?  1138252  *4k 才多少啊?

[ 本帖最后由 hgh25emus 于 2007-6-8 20:05 编辑 ]

等待…
    学习中

Paging Space Information
        Total Paging Space: 512MB
        Percent Used: 97%

配置的太小了吧

呵呵，前两天刚遇到一个这样的case，情形基本差不多，扩了paging space之后就好了。
paging space太小了，肯定要先扩大再说吧。
至于是否存在内存泄露、或者内存的使用策略是否有问题，那就得后面慢慢看了。
坛子里有很多这样的帖子，搜索一下看看，应该有帮助

学习了。

有VIO server???

扩完paging space还没搞定麽???
LZ说下结果麽

pagingspace太小啦,我感觉至少应该扩大成4GB吧。报这样的错误是典型的内存太低造成的。

但LZ古怪的是，内存还有不少free的呢

1.Paging Space 只有512M, 还好rootvg 有空间，加到4G
2.奇怪vmstat没有pagein pageout 和高wait, sys 到很高。
3.奇怪几个votevg LUN这么小？ 作设么的？

LZ，把ORACLE的配置弄出看一下先吧，在调试阶段就出问题了，晕！

继续关注中…

可能是数据库的配置出了问题.

晕死.是啊，RMAN就一直没备份起过.ORACLE,也象是有 问题,今天没去工地.明天我就把详细配制贴出来.请大家帮我指正一下,十分感谢大家的关心.....


小声问一句:最需要贴那些文件啊?

上次给人写rman的脚本，没做level0的就直接去跑level1，直接就把内存跑溢出了

paging space太小了把！

两台55A+HA+ORACLE10.2.0 ,一个IBM DS4800,一个磁带库IBM TS3310,


# cat listener.ora
# listener.ora.cgsjk1 Network Configuration File: /oracle/product/10.2.0/db_1/ne
twork/admin/listener.ora.cgsjk1
# Generated by Oracle configuration tools.

SID_LIST_LISTENER_CGSJK1 =
  (SID_LIST =
    (SID_DESC =
      (SID_NAME = PLSExtProc)
      (ORACLE_HOME = /oracle/product/10.2.0/db_1)
      (PROGRAM = extproc)
    )
  )

LISTENER_CGSJK1 =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.9)(PORT = 1521)(IP = FIRST))
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.4)(PORT = 1521)(IP = FIRST))
    )
  )

#
=============================================================================================






# cat tnsnames.ora
# tnsnames.ora Network Configuration File: /oracle/product/10.2.0/db_1/network/a
dmin/tnsnames.ora
# Generated by Oracle configuration tools.
CDCGK =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.9)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.10)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER=DEDICATED)
      (SERVICE_NAME=cdcgk)
      (FAILOVER_MODE =
       (TYPE = SELECT)
       (METHOD=BASIC>
        (RETRIES = 180)
        (DELAY = 5)
      )
    )
   )
LISTENERS_CDCGK =
  (ADDRESS_LIST =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.9)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.10)(PORT = 1521))
  )

CDCGK2 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.10)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = cdcgk)
      (INSTANCE_NAME = cdcgk2)
    )
  )

CDCGK1 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.9)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = cdcgk)
      (INSTANCE_NAME = cdcgk1)
    )
  )

EXTPROC_CONNECTION_DATA =
  (DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC0))
    )
    (CONNECT_DATA =
      (SID = PLSExtProc)
      (PRESENTATION = RO)
    )
  )

cgtest =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 10.192.208.16)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = cgtest)
      (INSTANCE_NAME = cgtest)
    )
  )

#


=======================================================================================






这里的是RMAN的脚本




# cat lev0.sh
CMDFILE=/usr/tivoli/tsm/client/oracle/lev0backup
LOGFILE=/usr/tivoli/tsm/client/oracle/lev0.log
su - oracle -c "rman nocatalog target / cmdfile $CMDFILE msglog $LOGFILE"
# cat lev0backup
run{

allocate channel t1 type 'sbt_tape' connect [email=]'sys/cdcgadmin@cdcgk1'[/email] parms 'ENV=(t
dpo_optfile=/usr/tivoli/tsm/client/oracle/bin64/tdpo.opt)';
allocate channel t2 type 'sbt_tape' connect [email=]'sys/cdcgadmin@cdcgk2'[/email] parms 'ENV=(t
dpo_optfile=/usr/tivoli/tsm/client/oracle/bin64/tdpo.opt)';
backup incremental level 0 database format='LEV0_%d_%t_%U' filesperset=3 diskrat
io=0 tag=Weekly_Full_Backup;
sql 'alter system archive log current';

backup format 'arch%t_%s_%p' diskratio=0 archivelog all delete all input;

release channel t1;

release channel t2;

}




------------------------------------------------------------------------

# cat lev1.sh
CMDFILE=/usr/tivoli/tsm/client/oracle/lev1backup
LOGFILE=/usr/tivoli/tsm/client/oracle/lev1.log
su - oracle -c "rman target / cmdfile $CMDFILE msglog $LOGFILE"
# cat lev1backup
run{

allocate channel t1 type 'sbt_tape' connect [email=]'sys/cdcgadmin@cdcgk1'[/email] parms 'ENV=(t
dpo_optfile=/usr/tivoli/tsm/client/oracle/bin64/tdpo.opt)';
allocate channel t2 type 'sbt_tape' connect [email=]'sys/cdcgadmin@cdcgk2'[/email] parms 'ENV=(t
dpo_optfile=/usr/tivoli/tsm/client/oracle/bin64/tdpo.opt)';
backup incremental level 1 database format='LEV1_%d_%t_%U' filesperset=1 diskrat
io=0 tag=Weekly_incr_Backup;
sql 'alter system archive log current';

backup format 'arch%t_%s_%p' diskratio=0 archivelog all delete all input;

release channel t1;

release channel t2;

}      #

关注.....

学习中