Проблема с высокой нагрузкой процессора со стороны ядра (sys). load average доходит до : 7.88, 7.76, 7.28 , в то время как джава ( томкат ) жрет макс. 360% из 800%. Проблема с дисками исключаем, vmstat & iostat подтверждают.
Цель: понять как можно сделать дебаг ядра и найти из-за чего нагрузка ?
А так это решается даунгрейдом ядра с 3.5.х до 3.1 и ниже
sar
Код: Выделить всё
]# sar -P ALL -u ALL 1 5
Linux 3.5.4-centos-6 (hostname) 03/07/2013 _x86_64_ (8 CPU)
09:25:33 AM CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
09:25:34 AM all 22.71 0.00 22.31 0.00 0.00 0.00 2.12 0.00 52.86
09:25:34 AM 0 25.77 0.00 25.77 0.00 0.00 0.00 0.00 0.00 48.45
09:25:34 AM 1 24.47 0.00 19.15 0.00 0.00 0.00 2.13 0.00 54.26
09:25:34 AM 2 21.28 0.00 26.60 0.00 0.00 0.00 0.00 0.00 52.13
09:25:34 AM 3 19.59 0.00 25.77 0.00 0.00 0.00 3.09 0.00 51.55
09:25:34 AM 4 23.86 0.00 21.59 0.00 0.00 0.00 0.00 0.00 54.55
09:25:34 AM 5 21.51 0.00 19.35 0.00 0.00 0.00 5.38 0.00 53.76
09:25:34 AM 6 20.65 0.00 21.74 0.00 0.00 0.00 3.26 0.00 54.35
09:25:34 AM 7 24.49 0.00 18.37 0.00 0.00 0.00 3.06 0.00 54.08
09:25:34 AM CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
09:25:35 AM all 24.40 0.00 20.13 0.00 0.00 0.00 3.07 0.00 52.40
09:25:35 AM 0 24.18 0.00 19.78 0.00 0.00 0.00 2.20 0.00 53.85
09:25:35 AM 1 27.84 0.00 18.56 0.00 0.00 0.00 4.12 0.00 49.48
09:25:35 AM 2 30.34 0.00 15.73 0.00 0.00 0.00 1.12 0.00 52.81
09:25:35 AM 3 19.79 0.00 21.88 0.00 0.00 0.00 5.21 0.00 53.12
09:25:35 AM 4 22.45 0.00 24.49 0.00 0.00 0.00 3.06 0.00 50.00
09:25:35 AM 5 27.96 0.00 13.98 0.00 0.00 0.00 5.38 0.00 52.69
09:25:35 AM 6 17.39 0.00 25.00 0.00 0.00 0.00 2.17 0.00 55.43
09:25:35 AM 7 25.53 0.00 21.28 0.00 0.00 0.00 1.06 0.00 52.13
09:25:35 AM CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
09:25:36 AM all 19.28 0.00 23.01 0.00 0.00 0.00 2.13 0.00 55.59
09:25:36 AM 0 16.83 0.00 26.73 0.00 0.00 0.00 1.98 0.00 54.46
09:25:36 AM 1 18.48 0.00 21.74 0.00 0.00 0.00 3.26 0.00 56.52
09:25:36 AM 2 16.84 0.00 26.32 0.00 0.00 0.00 1.05 0.00 55.79
09:25:36 AM 3 18.75 0.00 25.00 0.00 0.00 0.00 2.08 0.00 54.17
09:25:36 AM 4 21.65 0.00 26.80 0.00 0.00 0.00 1.03 0.00 50.52
09:25:36 AM 5 30.53 0.00 13.68 0.00 0.00 0.00 2.11 0.00 53.68
09:25:36 AM 6 14.44 0.00 24.44 0.00 0.00 0.00 2.22 0.00 58.89
09:25:36 AM 7 16.28 0.00 18.60 0.00 0.00 0.00 3.49 0.00 61.63
09:25:36 AM CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
09:25:37 AM all 22.46 0.00 20.61 0.00 0.00 0.00 2.11 0.00 54.82
09:25:37 AM 0 24.73 0.00 18.28 0.00 0.00 0.00 2.15 0.00 54.84
09:25:37 AM 1 28.12 0.00 15.62 0.00 0.00 0.00 2.08 0.00 54.17
09:25:37 AM 2 26.73 0.00 19.80 0.00 0.00 0.00 1.98 0.00 51.49
09:25:37 AM 3 18.28 0.00 21.51 0.00 0.00 0.00 1.08 0.00 59.14
09:25:37 AM 4 22.58 0.00 20.43 0.00 0.00 0.00 1.08 0.00 55.91
09:25:37 AM 5 21.35 0.00 20.22 0.00 0.00 0.00 2.25 0.00 56.18
09:25:37 AM 6 17.17 0.00 27.27 0.00 0.00 0.00 3.03 0.00 52.53
09:25:37 AM 7 20.43 0.00 21.51 0.00 0.00 0.00 3.23 0.00 54.84
09:25:37 AM CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
09:25:38 AM all 22.86 0.00 17.91 0.00 0.00 0.00 1.87 0.00 57.35
09:25:38 AM 0 25.00 0.00 20.00 0.00 0.00 0.00 1.00 0.00 54.00
09:25:38 AM 1 20.22 0.00 19.10 0.00 0.00 0.00 2.25 0.00 58.43
09:25:38 AM 2 29.79 0.00 12.77 0.00 0.00 0.00 3.19 0.00 54.26
09:25:38 AM 3 21.28 0.00 14.89 0.00 0.00 0.00 3.19 0.00 60.64
09:25:38 AM 4 22.22 0.00 13.33 0.00 0.00 0.00 2.22 0.00 62.22
09:25:38 AM 5 20.00 0.00 22.11 0.00 0.00 0.00 1.05 0.00 56.84
09:25:38 AM 6 20.41 0.00 23.47 0.00 0.00 0.00 1.02 0.00 55.10
09:25:38 AM 7 23.86 0.00 17.05 0.00 0.00 0.00 1.14 0.00 57.95
Average: CPU %usr %nice %sys %iowait %steal %irq %soft %guest %idle
Average: all 22.34 0.00 20.80 0.00 0.00 0.00 2.26 0.00 54.60
Average: 0 23.24 0.00 22.20 0.00 0.00 0.00 1.45 0.00 53.11
Average: 1 23.93 0.00 18.80 0.00 0.00 0.00 2.78 0.00 54.49
Average: 2 24.95 0.00 20.30 0.00 0.00 0.00 1.48 0.00 53.28
Average: 3 19.54 0.00 21.85 0.00 0.00 0.00 2.94 0.00 55.67
Average: 4 22.53 0.00 21.46 0.00 0.00 0.00 1.50 0.00 54.51
Average: 5 24.30 0.00 17.85 0.00 0.00 0.00 3.23 0.00 54.62
Average: 6 18.05 0.00 24.42 0.00 0.00 0.00 2.34 0.00 55.20
Average: 7 22.22 0.00 19.39 0.00 0.00 0.00 2.40 0.00 55.99cat /proc/{interrupts,softirq}
Код: Выделить всё
~]# cat /proc/interrupts
CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7
0: 35 0 0 0 0 0 0 0 IO-APIC-edge timer
1: 2 1 1 1 1 1 1 1 IO-APIC-edge i8042
3: 2 1 2 0 2 0 1 0 IO-APIC-edge
8: 0 0 1 0 0 0 0 0 IO-APIC-edge rtc0
9: 0 0 0 0 0 0 0 0 IO-APIC-fasteoi acpi
12: 0 0 1 1 1 0 0 0 IO-APIC-edge i8042
40: 0 0 0 0 0 0 0 0 PCI-MSI-edge virtio2-config
41: 12041 12298 12244 12350 12202 12272 12295 12335 PCI-MSI-edge virtio2-requests
42: 0 0 0 0 0 0 0 0 PCI-MSI-edge virtio3-config
43: 21954 21655 21738 22263 22110 21595 22128 21889 PCI-MSI-edge virtio3-requests
44: 0 0 0 0 0 0 0 0 PCI-MSI-edge virtio0-config
45: 547391 548415 546659 546782 546706 550949 547087 547410 PCI-MSI-edge virtio0-input
46: 0 1 0 0 0 0 0 0 PCI-MSI-edge virtio0-output
47: 0 0 0 0 0 0 0 0 PCI-MSI-edge virtio1-config
48: 67568870 67311962 67000820 66446825 66632388 67890228 67028904 67789402 PCI-MSI-edge virtio1-input
49: 3 3 4 1 0 1 2 4 PCI-MSI-edge virtio1-output
NMI: 0 0 0 0 0 0 0 0 Non-maskable interrupts
LOC: 21221136 21078101 20980524 21353957 21291849 20966986 21269226 20969300 Local timer interrupts
SPU: 0 0 0 0 0 0 0 0 Spurious interrupts
PMI: 0 0 0 0 0 0 0 0 Performance monitoring interrupts
IWI: 0 0 0 0 0 0 0 0 IRQ work interrupts
RTR: 0 0 0 0 0 0 0 0 APIC ICR read retries
RES: 307234733 306760719 305295055 313215093 313415450 304981402 313155614 304960834 Rescheduling interrupts
CAL: 191 172 178 166 179 180 173 174 Function call interrupts
TLB: 15473335 15431085 15387197 15247285 15226536 15333990 15161968 15271021 TLB shootdowns
TRM: 0 0 0 0 0 0 0 0 Thermal event interrupts
THR: 0 0 0 0 0 0 0 0 Threshold APIC interrupts
MCE: 0 0 0 0 0 0 0 0 Machine check exceptions
MCP: 603 603 603 603 603 603 603 603 Machine check polls
ERR: 0
MIS: 0
~]# cat /proc/softirqs
CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7
HI: 0 0 0 0 0 0 0 0
TIMER: 15299179 15254513 15225243 15207440 15203897 15217704 15218231 15216274
NET_TX: 1773736 1805380 1818649 1463327 1438837 1779816 1488059 1753434
NET_RX: 56052367 55912797 55450194 56376037 56033372 55702338 57020588 55722110
BLOCK: 0 0 0 0 0 0 0 0
BLOCK_IOPOLL: 0 0 0 0 0 0 0 0
TASKLET: 2 2 2 2 2 2 3 0
SCHED: 9804414 9429528 9189595 8949383 8839122 8784615 8657627 8657734
HRTIMER: 54861 56765 56217 57270 57764 56843 56504 57071
RCU: 12773073 12702287 12692902 12835209 12837882 12668758 12789275 12685958htop
На серваке работают tomcat, nrpe & munin. iptables отключен.
Спс