Встаёт внезапно сервер. Подскажите?

[automaster]

Сервер внезапно зависает. Подскажите где искать. При зависании выдаёт следующее:

Код: Выделить всё

 9 07:37:02 Suse-server kernel: [1709421.643423] httpd2-prefork invoked oom-killer: gfp_mask=0x280da, order=0, oom_adj=0, oom_score_adj=0
Feb  9 07:37:05 Suse-server kernel: [1709421.643427] httpd2-prefork cpuset=/ mems_allowed=0
Feb  9 07:37:05 Suse-server kernel: [1709421.643429] Pid: 5596, comm: httpd2-prefork Not tainted 2.6.37.1-1.2-desktop #1
Feb  9 07:37:05 Suse-server kernel: [1709421.643431] Call Trace:
Feb  9 07:37:05 Suse-server kernel: [1709421.643442]  [<ffffffff810059b9>] dump_trace+0x79/0x340
Feb  9 07:37:05 Suse-server kernel: [1709421.643447]  [<ffffffff81520d03>] dump_stack+0x69/0x6f
Feb  9 07:37:05 Suse-server kernel: [1709421.643452]  [<ffffffff810fd272>] dump_header+0xa2/0x240
Feb  9 07:37:05 Suse-server kernel: [1709421.643456]  [<ffffffff810fd954>] oom_kill_process+0xa4/0x1b0
Feb  9 07:37:05 Suse-server kernel: [1709421.643460]  [<ffffffff810fdd8c>] out_of_memory+0x10c/0x250
Feb  9 07:37:05 Suse-server kernel: [1709421.643464]  [<ffffffff81102e0b>] __alloc_pages_nodemask+0x6fb/0x710
Feb  9 07:37:05 Suse-server kernel: [1709421.643469]  [<ffffffff8113bb82>] alloc_page_vma+0x82/0x140
Feb  9 07:37:05 Suse-server kernel: [1709421.643473]  [<ffffffff8111ba78>] do_anonymous_page+0x138/0x2c0
Feb  9 07:37:05 Suse-server kernel: [1709421.643489]  [<ffffffff81527399>] do_page_fault+0x1a9/0x520
Feb  9 07:37:05 Suse-server kernel: [1709421.643493]  [<ffffffff815247cf>] page_fault+0x1f/0x30
Feb  9 07:37:05 Suse-server kernel: [1709421.643506]  [<00007f2248e9c448>] 0x7f2248e9c448
Feb  9 07:37:05 Suse-server kernel: [1709421.643507] Mem-Info:
Feb  9 07:37:05 Suse-server kernel: [1709421.643508] Node 0 DMA per-cpu:
Feb  9 07:37:05 Suse-server kernel: [1709421.643510] CPU    0: hi:    0, btch:   1 usd:   0
Feb  9 07:37:05 Suse-server kernel: [1709421.643511] CPU    1: hi:    0, btch:   1 usd:   0
Feb  9 07:37:05 Suse-server kernel: [1709421.643512] Node 0 DMA32 per-cpu:
Feb  9 07:37:05 Suse-server kernel: [1709421.643514] CPU    0: hi:  186, btch:  31 usd:  13
Feb  9 07:37:05 Suse-server kernel: [1709421.643515] CPU    1: hi:  186, btch:  31 usd:  30
Feb  9 07:37:05 Suse-server kernel: [1709421.643516] Node 0 Normal per-cpu:
Feb  9 07:37:05 Suse-server kernel: [1709421.643518] CPU    0: hi:  186, btch:  31 usd:  37
Feb  9 07:37:05 Suse-server kernel: [1709421.643519] CPU    1: hi:  186, btch:  31 usd:  73
Feb  9 07:37:05 Suse-server kernel: [1709421.643522] active_anon:944129 inactive_anon:876 isolated_anon:0
Feb  9 07:37:05 Suse-server kernel: [1709421.643523]  active_file:77 inactive_file:103 isolated_file:0
Feb  9 07:37:05 Suse-server kernel: [1709421.643524]  unevictable:0 dirty:31 writeback:0 unstable:0
Feb  9 07:37:05 Suse-server kernel: [1709421.643524]  free:6888 slab_reclaimable:2680 slab_unreclaimable:22636
Feb  9 07:37:05 Suse-server kernel: [1709421.643525]  mapped:66 shmem:917 pagetables:6861 bounce:0
Feb  9 07:37:05 Suse-server kernel: [1709421.643526] Node 0 DMA free:15720kB min:28kB low:32kB high:40kB active_anon:152kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15680kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Feb  9 07:37:05 Suse-server kernel: [1709421.643532] lowmem_reserve[]: 0 2914 3922 3922
Feb  9 07:37:05 Suse-server kernel: [1709421.643535] Node 0 DMA32 free:9944kB min:5944kB low:7428kB high:8916kB active_anon:2915868kB inactive_anon:0kB active_file:48kB inactive_file:116kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:2984400kB mlocked:0kB dirty:52kB writeback:0kB mapped:72kB shmem:4kB slab_reclaimable:4636kB slab_unreclaimable:8308kB kernel_stack:496kB pagetables:22504kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:253 all_unreclaimable? yes
Feb  9 07:37:05 Suse-server kernel: [1709421.643542] lowmem_reserve[]: 0 0 1008 1008
Feb  9 07:37:05 Suse-server kernel: [1709421.643544] Node 0 Normal free:1888kB min:2056kB low:2568kB high:3084kB active_anon:860496kB inactive_anon:3504kB active_file:260kB inactive_file:196kB unevictable:0kB isolated(anon):0kB isolated(file):128kB present:1032220kB mlocked:0kB dirty:72kB writeback:0kB mapped:192kB shmem:3664kB slab_reclaimable:6084kB slab_unreclaimable:82236kB kernel_stack:912kB pagetables:4940kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:1061 all_unreclaimable? yes
Feb  9 07:37:05 Suse-server kernel: [1709421.643550] lowmem_reserve[]: 0 0 0 0
Feb  9 07:37:05 Suse-server kernel: [1709421.643553] Node 0 DMA: 0*4kB 1*8kB 0*16kB 1*32kB 3*64kB 1*128kB 2*256kB 1*512kB 2*1024kB 2*2048kB 2*4096kB = 15720kB
Feb  9 07:37:05 Suse-server kernel: [1709421.643559] Node 0 DMA32: 974*4kB 2*8kB 7*16kB 7*32kB 1*64kB 0*128kB 2*256kB 0*512kB 1*1024kB 0*2048kB 1*4096kB = 9944kB
Feb  9 07:37:05 Suse-server kernel: [1709421.643565] Node 0 Normal: 20*4kB 0*8kB 3*16kB 5*32kB 3*64kB 1*128kB 1*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 1888kB
Feb  9 07:37:05 Suse-server kernel: [1709421.643571] 1150 total pagecache pages
Feb  9 07:37:05 Suse-server kernel: [1709421.643572] 0 pages in swap cache
Feb  9 07:37:05 Suse-server kernel: [1709421.643573] Swap cache stats: add 0, delete 0, find 0/0
Feb  9 07:37:05 Suse-server kernel: [1709421.643574] Free swap  = 0kB
Feb  9 07:37:05 Suse-server kernel: [1709421.643575] Total swap = 0kB
Feb  9 07:37:05 Suse-server kernel: [1709421.650067] 1048048 pages RAM
Feb  9 07:37:05 Suse-server kernel: [1709421.650069] 56008 pages reserved
Feb  9 07:37:05 Suse-server kernel: [1709421.650070] 60867 pages shared
Feb  9 07:37:05 Suse-server kernel: [1709421.650071] 963530 pages non-shared
Feb  9 07:37:05 Suse-server kernel: [1709421.650073] [ pid ]   uid  tgid total_vm      rss cpu oom_adj oom_score_adj name
Feb  9 07:37:05 Suse-server kernel: [1709421.650080] [  332]     0   332     5302      147   0     -17         -1000 udevd
Feb  9 07:37:05 Suse-server kernel: [1709421.650084] [  847]     0   847     3901       57   0       0             0 irqbalance
Feb  9 07:37:05 Suse-server kernel: [1709421.650087] [  856]   100   856     6904       68   1       0             0 dbus-daemon
Feb  9 07:37:05 Suse-server kernel: [1709421.650089] [ 1276]     0  1276    13513      213   0       0             0 nmbd
Feb  9 07:37:05 Suse-server kernel: [1709421.650092] [ 1366]     0  1366    46860       98   1       0             0 rsyslogd
Feb  9 07:37:05 Suse-server kernel: [1709421.650094] [ 1607]     0  1607    12908      148   0     -17         -1000 sshd
Feb  9 07:37:05 Suse-server kernel: [1709421.650097] [ 1618]     0  1618     4179       56   1       0             0 rpcbind
Feb  9 07:37:05 Suse-server kernel: [1709421.650099] [ 1652]     0  1652     2844       86   1       0             0 mysqld_safe
Feb  9 07:37:05 Suse-server kernel: [1709421.650102] [ 1780]    60  1780    76186    10479   0       0             0 mysqld
Feb  9 07:37:05 Suse-server kernel: [1709421.650105] [ 1784]    44  1784    56077    13417   1       0             0 named
Feb  9 07:37:05 Suse-server kernel: [1709421.650107] [ 4051]     0  4051    20263      284   1       0             0 smbd
Feb  9 07:37:05 Suse-server kernel: [1709421.650110] [ 5553]     0  5553    11886      399   1       0             0 sendmail
Feb  9 07:37:05 Suse-server kernel: [1709421.650112] [ 5777]     8  5777    10267      285   1       0             0 sendmail
Feb  9 07:37:05 Suse-server kernel: [1709421.650114] [ 5778]     8  5778    12946     2967   0       0             0 sendmail
Feb  9 07:37:05 Suse-server kernel: [1709421.650117] [ 5786]     0  5786    20263      252   0       0             0 smbd
Feb  9 07:37:05 Suse-server kernel: [1709421.650119] [ 5805]     0  5805     5457      169   1       0             0 cron
Feb  9 07:37:05 Suse-server kernel: [1709421.650122] [ 5818]     0  5818     6960      213   0       0             0 proftpd
Feb  9 07:37:05 Suse-server kernel: [1709421.650124] [ 5887]     0  5887    15106     3337   1       0             0 miniserv.pl
Feb  9 07:37:05 Suse-server kernel: [1709421.650127] [ 5955]     0  5955    42477      458   1       0             0 vboxwebsrv
Feb  9 07:37:05 Suse-server kernel: [1709421.650129] [ 5957]     0  5957    19093      245   0       0             0 VBoxXPCOMIPCD
Feb  9 07:37:05 Suse-server kernel: [1709421.650132] [ 5963]     0  5963    40128      450   1       0             0 VBoxSVC
Feb  9 07:37:05 Suse-server kernel: [1709421.650134] [ 6035]     0  6035    28258    13906   1       0             0 miniserv.pl
Feb  9 07:37:05 Suse-server kernel: [1709421.650137] [ 6040]     0  6040     3165       46   1       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650140] [ 6041]     0  6041     3165       47   0       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650142] [ 6042]     0  6042     3165       46   1       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650145] [ 6043]     0  6043     3165       46   0       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650147] [ 6044]     0  6044     3165       46   1       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650150] [ 6045]     0  6045     3165       46   0       0             0 mingetty
Feb  9 07:37:05 Suse-server kernel: [1709421.650153] [24877]     0 24877     5301      145   1     -17         -1000 udevd
Feb  9 07:37:05 Suse-server kernel: [1709421.650155] [24878]     0 24878     5301      145   0     -17         -1000 udevd
Feb  9 07:37:05 Suse-server kernel: [1709421.650158] [ 9177]     0  9177    16674      774   0       0             0 snmpd
Feb  9 07:37:05 Suse-server kernel: [1709421.650160] [ 5615]     0  5615    74428     2490   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650163] [ 4873]    30  4873   118355    44594   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650166] [ 5063]    30  5063   117081    43610   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650168] [ 5137]    30  5137   116417    43453   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650171] [ 5406]    30  5406    91013    17860   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650173] [ 5436]    30  5436   112638    39466   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650176] [ 5564]    30  5564   108720    35556   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650178] [ 5575]    30  5575   104995    32835   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650180] [ 5578]    30  5578   102268    30092   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650183] [ 5579]    30  5579   105443    33297   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650186] [ 5582]    30  5582    88681    16752   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650188] [ 5583]    30  5583   101820    29701   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650191] [ 5584]    30  5584    88681    16752   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650193] [ 5585]    30  5585    88684    16750   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650196] [ 5594]    30  5594   107863    35313   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650198] [ 5595]    30  5595   108055    35512   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650201] [ 5596]    30  5596   106519    34163   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650204] [ 5597]    30  5597   106455    34140   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650206] [ 5598]    30  5598   112790    40666   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650209] [ 5599]    30  5599   107863    35314   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650211] [ 5600]    30  5600   106455    34139   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650213] [ 5601]    30  5601   110231    37624   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650216] [ 5613]    30  5613   106583    34228   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650218] [ 5614]    30  5614    99863    27525   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650221] [ 5616]    30  5616   100695    28382   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650223] [ 5617]    30  5617   102039    29675   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650226] [ 5618]    30  5618   100439    28111   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650228] [ 5619]    30  5619   104727    32381   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650231] [ 5620]    30  5620   100119    27793   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650234] [ 5621]    30  5621   100183    27858   0       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650236] [ 5622]    30  5622   100055    27728   1       0             0 httpd2-prefork
Feb  9 07:37:05 Suse-server kernel: [1709421.650238] Out of memory: Kill process 4873 (httpd2-prefork) score 44 or sacrifice child
Feb  9 07:37:05 Suse-server kernel: [1709421.650241] Killed process 4873 (httpd2-prefork) total-vm:473420kB, anon-rss:178272kB, file-rss:104kB
Feb  9 07:37:09 Suse-server kernel: [1709427.916651] snmpd invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0
Feb  9 07:37:16 Suse-server kernel: [1709427.916655] snmpd cpuset=/ mems_allowed=0
Feb  9 07:37:17 Suse-server kernel: [1709427.916657] Pid: 9177, comm: snmpd Not tainted 2.6.37.1-1.2-desktop #1
Feb  9 07:37:17 Suse-server kernel: [1709427.916659] Call Trace:
Feb  9 07:37:17 Suse-server kernel: [1709427.916670]  [<ffffffff810059b9>] dump_trace+0x79/0x340
Feb  9 07:37:17 Suse-server kernel: [1709427.916675]  [<ffffffff81520d03>] dump_stack+0x69/0x6f
Feb  9 07:37:17 Suse-server kernel: [1709427.916679]  [<ffffffff810fd272>] dump_header+0xa2/0x240
Feb  9 07:37:17 Suse-server kernel: [1709427.916683]  [<ffffffff810fd954>] oom_kill_process+0xa4/0x1b0
Feb  9 07:37:17 Suse-server kernel: [1709427.916687]  [<ffffffff810fdd8c>] out_of_memory+0x10c/0x250
Feb  9 07:37:17 Suse-server kernel: [1709427.916691]  [<ffffffff81102e0b>] __alloc_pages_nodemask+0x6fb/0x710
Feb  9 07:37:17 Suse-server kernel: [1709427.916696]  [<ffffffff81138d69>] alloc_pages_current+0x99/0x110
Feb  9 07:37:17 Suse-server kernel: [1709427.916699]  [<ffffffff81105901>] __do_page_cache_readahead+0xe1/0x230
Feb  9 07:37:17 Suse-server kernel: [1709427.916702]  [<ffffffff81105d8c>] ra_submit+0x1c/0x30
Feb  9 07:37:17 Suse-server kernel: [1709427.916705]  [<ffffffff810fc6c7>] filemap_fault+0x487/0x4a0
Feb  9 07:37:17 Suse-server kernel: [1709427.916709]  [<ffffffff8111bf42>] __do_fault+0x52/0x560
Feb  9 07:37:17 Suse-server kernel: [1709427.916713]  [<ffffffff811209c1>] handle_mm_fault+0x1a1/0x410
Feb  9 07:37:17 Suse-server kernel: [1709427.916717]  [<ffffffff81527399>] do_page_fault+0x1a9/0x520
Feb  9 07:37:17 Suse-server kernel: [1709427.916720]  [<ffffffff815247cf>] page_fault+0x1f/0x30
Feb  9 07:37:17 Suse-server kernel: [1709427.916732]  [<00007f93a5323409>] 0x7f93a5323409
Feb  9 07:37:17 Suse-server kernel: [1709427.916733] Mem-Info:
Feb  9 07:37:17 Suse-server kernel: [1709427.916734] Node 0 DMA per-cpu:
Feb  9 07:37:17 Suse-server kernel: [1709427.916736] CPU    0: hi:    0, btch:   1 usd:   0
Feb  9 07:37:17 Suse-server kernel: [1709427.916737] CPU    1: hi:    0, btch:   1 usd:   0
Feb  9 07:37:17 Suse-server kernel: [1709427.916738] Node 0 DMA32 per-cpu:
Feb  9 07:37:17 Suse-server kernel: [1709427.916740] CPU    0: hi:  186, btch:  31 usd:  30
Feb  9 07:37:17 Suse-server kernel: [1709427.916741] CPU    1: hi:  186, btch:  31 usd:   1
Feb  9 07:37:17 Suse-server kernel: [1709427.916742] Node 0 Normal per-cpu:
Feb  9 07:37:17 Suse-server kernel: [1709427.916744] CPU    0: hi:  186, btch:  31 usd:   2
Feb  9 07:37:17 Suse-server kernel: [1709427.916745] CPU    1: hi:  186, btch:  31 usd:  43
Feb  9 07:37:17 Suse-server kernel: [1709427.916748] active_anon:944263 inactive_anon:877 isolated_anon:0
Feb  9 07:37:17 Suse-server kernel: [1709427.916749]  active_file:129 inactive_file:277 isolated_file:0
Feb  9 07:37:17 Suse-server kernel: [1709427.916750]  unevictable:0 dirty:12 writeback:1 unstable:0
Feb  9 07:37:17 Suse-server kernel: [1709427.916750]  free:6926 slab_reclaimable:2242 slab_unreclaimable:22620
Feb  9 07:37:17 Suse-server kernel: [1709427.916751]  mapped:103 shmem:918 pagetables:6923 bounce:0
Feb  9 07:37:17 Suse-server kernel: [1709427.916752] Node 0 DMA free:15720kB min:28kB low:32kB high:40kB active_anon:152kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15680kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Feb  9 07:37:17 Suse-server kernel: [1709427.916759] lowmem_reserve[]: 0 2914 3922 3922
Feb  9 07:37:17 Suse-server kernel: [1709427.916761] Node 0 DMA32 free:9964kB min:5944kB low:7428kB high:8916kB active_anon:2916004kB inactive_anon:0kB active_file:336kB inactive_file:552kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:2984400kB mlocked:0kB dirty:12kB writeback:0kB mapped:228kB shmem:4kB slab_reclaimable:3376kB slab_unreclaimable:8120kB kernel_stack:496kB pagetables:22944kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:1498 all_unreclaimable? yes
Feb  9 07:37:17 Suse-server kernel: [1709427.916768] lowmem_reserve[]: 0 0 1008 1008
Feb  9 07:37:17 Suse-server kernel: [1709427.916770] Node 0 Normal free:2020kB min:2056kB low:2568kB high:3084kB active_anon:860896kB inactive_anon:3508kB active_file:180kB inactive_file:556kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:1032220kB mlocked:0kB dirty:36kB writeback:4kB mapped:184kB shmem:3668kB slab_reclaimable:5592kB slab_unreclaimable:82360kB kernel_stack:912kB pagetables:4748kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:1239 all_unreclaimable? yes
Feb  9 07:37:17 Suse-server kernel: [1709427.916776] lowmem_reserve[]: 0 0 0 0
Feb  9 07:37:17 Suse-server kernel: [1709427.916779] Node 0 DMA: 1*4kB 0*8kB 0*16kB 1*32kB 3*64kB 1*128kB 2*256kB 1*512kB 2*1024kB 2*2048kB 2*4096kB = 15716kB
Feb  9 07:37:17 Suse-server kernel: [1709427.916785] Node 0 DMA32: 981*4kB 1*8kB 3*16kB 3*32kB 2*64kB 1*128kB 2*256kB 0*512kB 1*1024kB 0*2048kB 1*4096kB = 9964kB
Feb  9 07:37:17 Suse-server kernel: [1709427.916790] Node 0 Normal: 19*4kB 1*8kB 9*16kB 4*32kB 2*64kB 0*128kB 0*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 2020kB
Feb  9 07:37:17 Suse-server kernel: [1709427.916796] 1355 total pagecache pages
Feb  9 07:37:17 Suse-server kernel: [1709427.916797] 0 pages in swap cache
Feb  9 07:37:17 Suse-server kernel: [1709427.916798] Swap cache stats: add 0, delete 0, find 0/0
Feb  9 07:37:17 Suse-server kernel: [1709427.916799] Free swap  = 0kB
Feb  9 07:37:17 Suse-server kernel: [1709427.916800] Total swap = 0kB
Feb  9 07:37:17 Suse-server kernel: [1709427.923404] 1048048 pages RAM
Feb  9 07:37:17 Suse-server kernel: [1709427.923406] 56008 pages reserved
Feb  9 07:37:17 Suse-server kernel: [1709427.923408] 75042 pages shared
Feb  9 07:37:17 Suse-server kernel: [1709427.923409] 950128 pages non-shared
Feb  9 07:37:17 Suse-server kernel: [1709427.923410] [ pid ]   uid  tgid total_vm      rss cpu oom_adj oom_score_adj name
Feb  9 07:37:17 Suse-server kernel: [1709427.923418] [  332]     0   332     5302      142   0     -17         -1000 udevd
Feb  9 07:37:17 Suse-server kernel: [1709427.923421] [  847]     0   847     3901       60   0       0             0 irqbalance
Feb  9 07:37:17 Suse-server kernel: [1709427.923424] [  856]   100   856     6904       68   1       0             0 dbus-daemon
Feb  9 07:37:17 Suse-server kernel: [1709427.923427] [ 1276]     0  1276    13513      208   0       0             0 nmbd
Feb  9 07:37:17 Suse-server kernel: [1709427.923429] [ 1366]     0  1366    46860      106   0       0             0 rsyslogd
Feb  9 07:37:17 Suse-server kernel: [1709427.923432] [ 1607]     0  1607    12908      143   0     -17         -1000 sshd
Feb  9 07:37:17 Suse-server kernel: [1709427.923434] [ 1618]     0  1618     4179       56   1       0             0 rpcbind
Feb  9 07:37:17 Suse-server kernel: [1709427.923437] [ 1652]     0  1652     2844       81   1       0             0 mysqld_safe
Feb  9 07:37:17 Suse-server kernel: [1709427.923439] [ 1780]    60  1780    76186    10479   0       0             0 mysqld
Feb  9 07:37:17 Suse-server kernel: [1709427.923442] [ 1784]    44  1784    56077    13417   1       0             0 named
Feb  9 07:37:17 Suse-server kernel: [1709427.923444] [ 4051]     0  4051    20263      279   1       0             0 smbd
Feb  9 07:37:17 Suse-server kernel: [1709427.923447] [ 5553]     0  5553    11886      394   0       0             0 sendmail
Feb  9 07:37:17 Suse-server kernel: [1709427.923449] [ 5777]     8  5777    10267      285   1       0             0 sendmail
Feb  9 07:37:17 Suse-server kernel: [1709427.923452] [ 5778]     8  5778    12946     2966   0       0             0 sendmail
Feb  9 07:37:17 Suse-server kernel: [1709427.923454] [ 5786]     0  5786    20263      252   0       0             0 smbd
Feb  9 07:37:17 Suse-server kernel: [1709427.923457] [ 5805]     0  5805     5457      169   0       0             0 cron
Feb  9 07:37:17 Suse-server kernel: [1709427.923459] [ 5818]     0  5818     6960      208   0       0             0 proftpd
Feb  9 07:37:17 Suse-server kernel: [1709427.923462] [ 5887]     0  5887    15106     3337   0       0             0 miniserv.pl
Feb  9 07:37:17 Suse-server kernel: [1709427.923464] [ 5955]     0  5955    42477      458   1       0             0 vboxwebsrv
Feb  9 07:37:17 Suse-server kernel: [1709427.923467] [ 5957]     0  5957    19093      245   0       0             0 VBoxXPCOMIPCD
Feb  9 07:37:17 Suse-server kernel: [1709427.923469] [ 5963]     0  5963    40128      450   1       0             0 VBoxSVC
Feb  9 07:37:17 Suse-server kernel: [1709427.923472] [ 6035]     0  6035    28258    13900   0       0             0 miniserv.pl
Feb  9 07:37:17 Suse-server kernel: [1709427.923474] [ 6040]     0  6040     3165       41   1       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923476] [ 6041]     0  6041     3165       42   0       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923479] [ 6042]     0  6042     3165       41   1       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923481] [ 6043]     0  6043     3165       41   0       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923484] [ 6044]     0  6044     3165       41   1       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923486] [ 6045]     0  6045     3165       41   0       0             0 mingetty
Feb  9 07:37:17 Suse-server kernel: [1709427.923489] [24877]     0 24877     5301      143   1     -17         -1000 udevd
Feb  9 07:37:17 Suse-server kernel: [1709427.923491] [24878]     0 24878     5301      143   0     -17         -1000 udevd
Feb  9 07:37:17 Suse-server kernel: [1709427.923494] [ 9177]     0  9177    16674      776   0       0             0 snmpd
Feb  9 07:37:17 Suse-server kernel: [1709427.923496] [ 5615]     0  5615    74428     2464   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923499] [ 5063]    30  5063    91215    18067   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923502] [ 5137]    30  5137    90552    17882   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923504] [ 5406]    30  5406    91013    17834   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923507] [ 5436]    30  5436   114366    41417   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923510] [ 5564]    30  5564   114352    41402   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923512] [ 5575]    30  5575   110499    38279   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923515] [ 5578]    30  5578   107708    35471   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923517] [ 5579]    30  5579   110947    38688   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923520] [ 5582]    30  5582    88691    16765   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923522] [ 5583]    30  5583   106044    33767   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923525] [ 5584]    30  5584    88681    16727   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923527] [ 5585]    30  5585    88681    16738   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923530] [ 5594]    30  5594   113560    41280   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923532] [ 5595]    30  5595   113560    41275   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923535] [ 5596]    30  5596   113560    41274   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923537] [ 5597]    30  5597   113560    41274   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923540] [ 5598]    30  5598    88692    16744   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923542] [ 5599]    30  5599   113560    41281   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923545] [ 5600]    30  5600   113560    41274   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923547] [ 5601]    30  5601   113560    41285   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923550] [ 5613]    30  5613   112984    40489   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923552] [ 5614]    30  5614   105047    32740   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923555] [ 5616]    30  5616   105815    33533   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923557] [ 5617]    30  5617   106455    34137   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923560] [ 5618]    30  5618   105751    33467   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923562] [ 5619]    30  5619   107863    35344   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923565] [ 5620]    30  5620   105367    33072   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923568] [ 5621]    30  5621   106455    34126   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923570] [ 5622]    30  5622   105303    33006   0       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923573] [ 5641]     0  5641    28325    13971   0       0             0 miniserv.pl
Feb  9 07:37:17 Suse-server kernel: [1709427.923575] [ 5642]     0  5642     5458      163   1       0             0 cron
Feb  9 07:37:17 Suse-server kernel: [1709427.923578] [ 5643]     0  5643    74429     2470   1       0             0 httpd2-prefork
Feb  9 07:37:17 Suse-server kernel: [1709427.923580] Out of memory: Kill process 5436 (httpd2-prefork) score 41 or sacrifice child
Feb  9 07:37:17 Suse-server kernel: [1709427.923582] Killed process 5436 (httpd2-prefork) total-vm:457464kB, anon-rss:165612kB, file-rss:56kB
Feb  9 07:38:05 Suse-server kernel: [1709478.092779] httpd2-prefork invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0
Feb  9 07:38:05 Suse-server kernel: [1709478.092783] httpd2-prefork cpuset=/ mems_allowed=0
Feb  9 07:38:05 Suse-server kernel: [1709478.092785] Pid: 5613, comm: httpd2-prefork Not tainted 2.6.37.1-1.2-desktop #1
Feb  9 07:38:05 Suse-server kernel: [1709478.092787] Call Trace:
Feb  9 07:38:05 Suse-server kernel: [1709478.092798]  [<ffffffff810059b9>] dump_trace+0x79/0x340
Feb  9 07:38:05 Suse-server kernel: [1709478.092803]  [<ffffffff81520d03>] dump_stack+0x69/0x6f
Feb  9 07:38:05 Suse-server kernel: [1709478.092808]  [<ffffffff810fd272>] dump_header+0xa2/0x240
Feb  9 07:38:05 Suse-server kernel: [1709478.092812]  [<ffffffff810fd954>] oom_kill_process+0xa4/0x1b0
Feb  9 07:38:05 Suse-server kernel: [1709478.092815]  [<ffffffff810fdd8c>] out_of_memory+0x10c/0x250
Feb  9 07:38:05 Suse-server kernel: [1709478.092819]  [<ffffffff81102e0b>] __alloc_pages_nodemask+0x6fb/0x710
Feb  9 07:38:05 Suse-server kernel: [1709478.092824]  [<ffffffff81138d69>] alloc_pages_current+0x99/0x110
Feb  9 07:38:05 Suse-server kernel: [1709478.092828]  [<ffffffff81105901>] __do_page_cache_readahead+0xe1/0x230
Feb  9 07:38:05 Suse-server kernel: [1709478.092831]  [<ffffffff81105d8c>] ra_submit+0x1c/0x30
Feb  9 07:38:05 Suse-server kernel: [1709478.092834]  [<ffffffff810fc6c7>] filemap_fault+0x487/0x4a0
Feb  9 07:38:05 Suse-server kernel: [1709478.092838]  [<ffffffff8111bf42>] __do_fault+0x52/0x560
Feb  9 07:38:05 Suse-server kernel: [1709478.092842]  [<ffffffff811209c1>] handle_mm_fault+0x1a1/0x410
Feb  9 07:38:05 Suse-server kernel: [1709478.092845]  [<ffffffff81527399>] do_page_fault+0x1a9/0x520
Feb  9 07:38:05 Suse-server kernel: [1709478.092849]  [<ffffffff815247cf>] page_fault+0x1f/0x30
Feb  9 07:38:05 Suse-server kernel: [1709478.092860]  [<00007f2248f0bf03>] 0x7f2248f0bf03

[liaonau]

Я не специалист, но думаю, что раз его убил oom-killer, это значит что процесс попытался схватить памяти больше чем ее есть. Может память потекла?

[rm_]

Free swap = 0kB
Total swap = 0kB

httpd2-prefork * овер100500миллионов

out_of_memory

"Действительно, что бы это могло быть???"

[drBatty]

Feb 9 07:37:05 Suse-server kernel: [1709421.650238] Out of memory: Kill process 4873 (httpd2-prefork) score 44 or sacrifice child
Feb 9 07:37:05 Suse-server kernel: [1709421.650241] Killed process 4873 (httpd2-prefork) total-vm:473420kB, anon-rss:178272kB, file-rss:104kB

перевожу - память кончилась, виновник (вебсервер) был убит.

[Bluetooth]

Feb 9 07:37:05 Suse-server kernel: [1709421.650238] Out of memory: Kill process 4873 (httpd2-prefork) score 44 or sacrifice child
Feb 9 07:37:05 Suse-server kernel: [1709421.650241] Killed process 4873 (httpd2-prefork) total-vm:473420kB, anon-rss:178272kB, file-rss:104kB

перевожу - память кончилась, виновник (вебсервер) был убит.

Да, но, судя по тому, что сервер таки "зависает", то это значит, что убийство веб сервера не помогло

[drBatty]

Да, но, судя по тому, что сервер таки "зависает", то это значит, что убийство веб сервера не помогло

помогло. ИМХО ТС смотрит на это глазами клиента(браузера), который ждёт ответа от убитого сервера. И называет это "зависанием".

[SLEDopit]

Включите swap. А чтобы oom_killer не убивал несчастный вебсервер, запихните в крон что-то в духе:

Код: Выделить всё

#/etc/cron.d/oom_disable
*/1 * * * * root pgrep httpd2-prefork | while read PID; do echo -17 > /proc/$PID/oom_adj; done

зы. httpd2-prefork у вас может выглядеть как-то по другому. я мало общался со suse, память подводит.
ззы. Использовать на свой страх и риск (:

[automaster]

Спасибо за ответы.
С этой проблемой борюсь давно. Сервер зависает с периодичностью месяц.
Как не дать апачу сожрать всю память???
Даже шелл удалённо не открывается.

Вариант ночной reboot кроном каджую неделю впринципе подходит, но это же не правильно!!!!

Как вообше к этой проблеме подходят хостеры???

[drBatty]

Как вообше к этой проблеме подходят хостеры???

хз. Админы ультимативно требуют денег. Причём их выделяют, ибо "работа" вебсервера в таком режиме всё равно никому не нужна.

[BIgAndy]

Как не дать апачу сожрать всю память???

Открыть для себя nginx

[SSDD]

Спасибо за ответы.
С этой проблемой борюсь давно. Сервер зависает с периодичностью месяц.
Как не дать апачу сожрать всю память???
Даже шелл удалённо не открывается.

Вариант ночной reboot кроном каджую неделю впринципе подходит, но это же не правильно!!!!

Как вообше к этой проблеме подходят хостеры???

Для префорка есть такой параметр MaxRequestsPerChild, попробуйте уменьшить, 1000 или даже 100 поставить.

[Bluetooth]

Спасибо за ответы.
С этой проблемой борюсь давно. Сервер зависает с периодичностью месяц.
Как не дать апачу сожрать всю память???

Тюнить производительность. Нанять человека, который это умеет.

[drBatty]

Тюнить производительность. Нанять человека, который это умеет.

дешевле и проще купить памяти/перейти на старший тариф.
ИМХО

[SLEDopit]

дешевле и проще купить памяти/перейти на старший тариф.
ИМХО

В корне неверный подход. Дешевле заплатить один раз и сидеть спокойно, чем постоянно трястись, что скоро опять придётся менять тариф.
А то получается, как покупать дополнительный бензобак в машину, если первый продырявился, Вам не кажется?

[drBatty]

В корне неверный подход. Дешевле заплатить один раз и сидеть спокойно

да. но вы предлагаете велосипедные костыли каждую минуту:

*/1 * * * * root pgrep httpd2-prefork | while read PID; do echo -17 > /proc/$PID/oom_adj; done

это разве не паллиатив?

А то получается, как покупать дополнительный бензобак в машину, если первый продырявился, Вам не кажется?

именно так и есть - если бак продырявился, его не стоит каждую минуту жвачкой залеплять, а стоит выкинуть старый, и поставить новый.

постоянно трястись, что скоро опять придётся менять тариф.

тариф придётся менять тогда, и только тогда, когда посещаемость значительно увеличится. Это, ИМХО, оправданно. А на 3.5 юзера тариф менять не придётся, я гарантирую это.

[automaster]

Тарифы меня вообще не пугают, поскольку сервер стоит на работе на холодильнике.


Параметр MaxRequestsPerChild изменил на 300 (был 1000)
спасибо за совет

Наблюдаю дальше.

[Bluetooth]

Тюнить производительность. Нанять человека, который это умеет.

дешевле и проще купить памяти/перейти на старший тариф.
ИМХО

Каждый случай индивидуален. Опять же, приглашенный специалист поможет сориентироваться, что лучше - тюнить или железо.

[drBatty]

Bluetooth
тут я с вами согласен.

[automaster]

После изменения параметра MaxRequestsPerChild время загрузки страницы сайта уменьшилось.
Даже не ожидал.
сервер пока ёщё ни разу не зависал.

[BAF]

Не знаю может быть не совсем в тему, но все же. Был у меня сервак на дебе с 256 оперативой. На нем крутился сквид, ктр обслуживал более 20 активный юзеров. Этой памяти ему явно не хватало и он ничинал пользоваться свапом, ктр был 512М. Когда свап заканчивался сервер нагглухо вставал и решал проблему только наглый скачек по питанию. Выход был найден просто: создал swap файл 2гига и прикрутил его. Причем настроил приоритет, что бы сперва в свап раздел, а если того не хватает в свап фал, все же фалом еще тугодумнее получится. Так вот после этого сервак пашет на убой, ему не хватало то всего 20М свапа. Это так к сведению, вдруг поможет.

[ivan2ksusr]

Код: Выделить всё

MaxRequestsPerChild

этот параметр отвечает, как часто сервер будет перерабатывает процессы, убивая старые и начиная новые, т.е здесь указывается число запросов, которое позволено обрабатывать дочернему процессу до переполнения. По умолчанию он равен 1000, уменьшать его не следовало бы. Для оптимизации необходимо смотреть в сторону ServerLimit и MaxClients.
Инфа для размышления:
http://www.hosting.com/support/linux/tunin...che-prefork-mpm
http://modperlbook.org/html/11-2-Setting-t...-Directive.html

[automaster]

На серваке 4гига памяти
вот что я вижу

Код: Выделить всё

StartServers 2
MinSpareServers 2
MaxSpareServers 5
ServerLimit 30
MaxClients 30
KeepAliveTimeout 3
MaxKeepAliveRequests 100
MaxRequestsPerChild 300

вот такая картина
сервер пока не виснет

Что посоветуете?

[drBatty]

вот такая картина
сервер пока не виснет
Что посоветуете?

ИМХО советовать нечего - всё нормально. А где swap?


ЗЫЖ не в тему немного - на одном серваке

Shell

$ free -m total used free shared buffers cached Mem: 358 321 37 0 225 27 -/+ buffers/cache: 68 290 Swap: 235 0 235

никто не знает, почему buffers такие здоровые? И что делать?

[automaster]

У меня /boot на флешке и raidзекало на двух дисках
Куда свапп то прикручивать???

[drBatty]

У меня /boot на флешке и raidзекало на двух дисках
Куда свапп то прикручивать???

найдите какой-нить ненужный, не быстрый, небольшой, но здоровый HDD. Swap полезен для устойчивости. Причём я убеждался в этом неоднократно на практике.

[byloki]

Пардон за трупа, но вы видимо слишком много отдали памяти для машинки virtualbox-а, а он память кушать любит...