Решено: сервер, запущеный в xen-е "лагает"
Модераторы: SLEDopit, Модераторы разделов
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Решено: сервер, запущеный в xen-е "лагает"
в ксене в качестве паравиртуальной машине запущен сервер.
реальная машина:
стоечный интел 3000
xeon
памяти - 4gb
стоит: debian lenny 2.6.18-6-xen-686
виртуальна машина:
используется 3,5gb памяти сервера,
стоит: 2.6.18-6-xen-686
на виртуалке запущен x11 терминал, к которому подключаются тонкие клиенты.
там стоит ~ xfce4, xdm, OOo, icedove, iceweasel, gimp, konqueror (thunar народ не устроил)
проблема в том, что периодически (примерно раз в пол-часа) машина встает в мертвую на секунду-две-пять.
не работает вообще ничего, только мышка по экрану ездит (щелкнуть куда-либо нельзя).
происходит это без предупреждения, без каких-либо видимых признаков.
(в логах ничего подозрительного нет в этот момент)
загрузка проца при этом может быть минимальной.
такой происходит даже когда на машине работает один юзер.
первая мысль была - это ntp на реальной машине переводит часы.
выключил - все так же.
если кто сталкивался - помогите пожалуйста.
реальная машина:
стоечный интел 3000
xeon
памяти - 4gb
стоит: debian lenny 2.6.18-6-xen-686
виртуальна машина:
используется 3,5gb памяти сервера,
стоит: 2.6.18-6-xen-686
на виртуалке запущен x11 терминал, к которому подключаются тонкие клиенты.
там стоит ~ xfce4, xdm, OOo, icedove, iceweasel, gimp, konqueror (thunar народ не устроил)
проблема в том, что периодически (примерно раз в пол-часа) машина встает в мертвую на секунду-две-пять.
не работает вообще ничего, только мышка по экрану ездит (щелкнуть куда-либо нельзя).
происходит это без предупреждения, без каких-либо видимых признаков.
(в логах ничего подозрительного нет в этот момент)
загрузка проца при этом может быть минимальной.
такой происходит даже когда на машине работает один юзер.
первая мысль была - это ntp на реальной машине переводит часы.
выключил - все так же.
если кто сталкивался - помогите пожалуйста.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
o6s
- Сообщения: 187
Re: Решено: сервер, запущеный в xen-е "лагает"
Если не примерно, а точно в интервал времени то может cron ?)
И можно всё же увидеть syslog.
Просто у самого виртуалка на xen сижу как на бомбе жду чего-то плохого, но пока (5-й день) вроде всё good )
И можно всё же увидеть syslog.
Просто у самого виртуалка на xen сижу как на бомбе жду чего-то плохого, но пока (5-й день) вроде всё good )
-
pilson66
- Сообщения: 59
- ОС: Debian Squeeze
Re: Решено: сервер, запущеный в xen-е "лагает"
А локально на сервере - тоже лаг такой?
если нет - то может стоит в сторону свича посмотреть?
если нет - то может стоит в сторону свича посмотреть?
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
Просто у самого виртуалка на xen сижу как на бомбе жду чего-то плохого, но пока (5-й день) вроде всё good )
очень знакомое ощущение :-)
сам все время жду подвоха.
может вас успокоит - у меня уже порядка 5ти серверов(железок) с ксеном... тьфу-тьфу-тьфу все (за исключением эхотега) ок.
логи доставлю завтра.
локально проверить нельзя по тому, что на самом сервере иксов нет, только программы, которые в иксах(запущенных на клиентах) запускаются. ставить бы не хотелось.
в консоли (когда на нем ssh-ем сижу - все очень даже гут).
(в ксеновой машине - когда в консоли сидишь лаги наблюдаются).
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
vr13
- Сообщения: 887
- ОС: gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
и еще к логам - информацию про конфигурауию дзена и виртуальной машины (машин):
xm dmesg
xm list -l
а также - информацию про конфигурацию виртуальной сети
по ощущениям от написанного, кажется, что что это сеть (для эксперимента попробуйте делать что-нить не сетевое и короткое на виртуальной машине, скажем с интервалом пол-секунды - будут ли заметны при этом упоминаемые задержки?
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
конфигурация виртуальной машины:
конфиг на всякий случай:
это xm dmesg:
ну а потом я пошел смотреть логи и увидел там проблемы:
вот этого: leda ntpd[18085]: kernel time sync error 0001
раньше не было.
сети забыл:
кстати на виртуальной машине те же пироги:
если запустить чтото типа:
while [ 1 == 1 ];do
time sleep 10
done
это подойдет?
Код:
leda:~# xm list
Name ID Mem VCPUs State Time(s)
Domain-0 0 464 2 r----- 24015.0
amalthea 20 3584 1 -b---- 45298.8
leda:~# xm list -l
(domain
(domid 0)
(on_crash restart)
(uuid 00000000-0000-0000-0000-000000000000)
(bootloader_args )
(vcpus 2)
(name Domain-0)
(on_poweroff destroy)
(on_reboot restart)
(bootloader )
(maxmem 4194303)
(memory 464)
(shadow_memory 0)
(features )
(on_xend_start ignore)
(on_xend_stop ignore)
(cpu_time 24015.0920781)
(online_vcpus 2)
(security_label )
(image (linux (kernel )))
(status 2)
(state r-----)
)
(domain
(domid 20)
(on_crash restart)
(uuid 2a2322f6-bd0c-5703-e663-f754498d2004)
(bootloader_args )
(vcpus 1)
(name amalthea)
(on_poweroff destroy)
(on_reboot restart)
(bootloader )
(maxmem 3584)
(memory 3584)
(shadow_memory 0)
(features )
(on_xend_start ignore)
(on_xend_stop ignore)
(start_time 1227514931.07)
(cpu_time 45298.8486818)
(online_vcpus 1)
(image
(linux
(kernel /boot/vmlinuz-2.6.18-6-xen-686)
(ramdisk /boot/initrd.img-2.6.18-6-xen-686)
(args 'root=/dev/hda1 ro ')
(notes
(FEATURES
'writable_page_tables|writable_descriptor_tables|auto_translated_physmap|pae_
pgdir_above_4gb|supervisor_mode_kernel'
)
(VIRT_BASE 3221225472)
(GUEST_VERSION 2.6)
(PADDR_OFFSET 3221225472)
(GUEST_OS linux)
(HYPERCALL_PAGE 3222278144)
(LOADER generic)
(PAE_MODE yes)
(ENTRY 3222274048)
(XEN_VERSION xen-3.0)
)
)
)
(status 2)
(state -b----)
(store_mfn 1070155)
(console_mfn 1107420)
(device
(vif
(bridge br0)
(mac 00:16:3e:29:db:85)
(script vif-bridge)
(uuid 0357826f-8ace-da64-ade8-a163ee7c93a0)
(backend 0)
)
)
(device
(vbd
(uname phy:drbd1)
(uuid 56b48d41-ffe0-ff93-4546-aaaa554ad6ed)
(mode w)
(dev hda1:disk)
(backend 0)
(bootable 1)
(VDI )
)
)
(device
(vbd
(uname phy:drbd2)
(uuid 304797a9-77e0-bedf-2b16-5e52aeb752b7)
(mode w)
(dev hdb1:disk)
(backend 0)
(bootable 0)
(VDI )
)
)
(device
(console
(protocol vt100)
(location 2)
(uuid 13add062-8f6a-4622-63ec-2d8db4b1676c)
)
)
)
конфиг на всякий случай:
Код: Выделить всё
leda:~# cat /etc/xen/amalthea
kernel = "/boot/vmlinuz-2.6.18-6-xen-686"
ramdisk = "/boot/initrd.img-2.6.18-6-xen-686"
builder='linux'
memory = 3584
name = "amalthea"
vif = [ 'bridge=br0' ]
disk = [ 'phy:drbd1,hda1,w','phy:drbd2,hdb1,w' ]
root = "/dev/hda1 ro"
extra = ""это xm dmesg:
Код:
leda:~# xm dmesg
(XEN) Xen version 3.2-1 (Debian 3.2.1-2) (waldi@debian.org) (gcc version 4.3.1 (Debian 4.3.1-2) ) Sat Jun 28 15:25:00 UTC 2008
(XEN) Command line:
(XEN) Video information:
(XEN) VGA is text mode 80x25, font 8x16
(XEN) VBE/DDC methods: none; EDID transfer time: 0 seconds
(XEN) EDID info not retrieved because no DDC retrieval method detected
(XEN) Disc information:
(XEN) Found 2 MBR signatures
(XEN) Found 2 EDD information structures
(XEN) Xen-e820 RAM map:
(XEN) 0000000000000000 - 000000000009fc00 (usable)
(XEN) 000000000009fc00 - 0000000000100000 (reserved)
(XEN) 0000000000100000 - 00000000dfcf0000 (usable)
(XEN) 00000000dfcf0000 - 00000000dfd96000 (ACPI NVS)
(XEN) 00000000dfd96000 - 00000000dfdfd000 (usable)
(XEN) 00000000dfdfd000 - 00000000dfe5f000 (reserved)
(XEN) 00000000dfe5f000 - 00000000dfe68000 (usable)
(XEN) 00000000dfe68000 - 00000000dfedf000 (ACPI NVS)
(XEN) 00000000dfedf000 - 00000000dfee5000 (usable)
(XEN) 00000000dfee5000 - 00000000dfeff000 (ACPI data)
(XEN) 00000000dfeff000 - 00000000dff00000 (usable)
(XEN) 00000000dff00000 - 00000000e0000000 (reserved)
(XEN) 00000000f0000000 - 00000000f4000000 (reserved)
(XEN) 00000000fff80000 - 00000000fff8c000 (reserved)
(XEN) 0000000100000000 - 0000000120000000 (usable)
(XEN) System RAM: 4093MB (4191256kB)
(XEN) Xen heap: 9MB (10000kB)
(XEN) Domain heap initialised: DMA width 32 bits
(XEN) PAE enabled, limit: 16 GB
(XEN) Processor #0 6:15 APIC version 20
(XEN) Processor #1 6:15 APIC version 20
(XEN) IOAPIC[0]: apic_id 5, version 32, address 0xfec00000, GSI 0-23
(XEN) Enabling APIC mode: Flat. Using 1 I/O APICs
(XEN) Using scheduler: SMP Credit Scheduler (credit)
(XEN) Detected 2327.549 MHz processor.
(XEN) HVM: VMX enabled
(XEN) CPU0: Intel® Xeon® CPU 3065 @ 2.33GHz stepping 0b
(XEN) Booting processor 1/1 eip 8c000
(XEN) CPU1: Intel® Xeon® CPU 3065 @ 2.33GHz stepping 0b
(XEN) Total of 2 processors activated.
(XEN) ENABLING IO-APIC IRQs
(XEN) -> Using new ACK method
(XEN) Platform timer overflows in 14998 jiffies.
(XEN) Platform timer is 14.318MHz HPET
(XEN) Brought up 2 CPUs
(XEN) AMD IOMMU: Disabled
(XEN) *** LOADING DOMAIN 0 ***
(XEN) Xen kernel: 32-bit, PAE, lsb
(XEN) Dom0 kernel: 32-bit, PAE, lsb, paddr 0xc0100000 -> 0xc0396a54
(XEN) PHYSICAL MEMORY ARRANGEMENT:
(XEN) Dom0 alloc.: 000000003c000000->000000003e000000 (995431 pages to be allocated)
(XEN) VIRTUAL MEMORY ARRANGEMENT:
(XEN) Loaded kernel: c0100000->c0396a54
(XEN) Init. ramdisk: c0397000->c10ac800
(XEN) Phys-Mach map: c10ad000->c148119c
(XEN) Start info: c1482000->c1482474
(XEN) Page tables: c1483000->c1494000
(XEN) Boot stack: c1494000->c1495000
(XEN) TOTAL: c0000000->c1800000
(XEN) ENTRY ADDRESS: c0100000
(XEN) Dom0 has maximum 2 VCPUs
(XEN) Initrd len 0xd15800, start at 0xc0397000
(XEN) Scrubbing Free RAM: .done.
(XEN) Xen trace buffers: disabled
(XEN) Std. Loglevel: Errors and warnings
(XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings)
(XEN) Xen is relinquishing VGA console.
(XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen)
(XEN) Freed 96kB init memory.
(XEN) mm.c:645:d2 Non-privileged (2) attempt to map I/O space 000000f0
(XEN) mm.c:645:d12 Non-privileged (12) attempt to map I/O space 000000f0
(XEN) mm.c:645:d13 Non-privileged (13) attempt to map I/O space 000000f0
(XEN) mm.c:645:d14 Non-privileged (14) attempt to map I/O space 000000f0
(XEN) mm.c:645:d16 Non-privileged (16) attempt to map I/O space 000000f0
(XEN) mm.c:645:d18 Non-privileged (18) attempt to map I/O space 000000f0
(XEN) mm.c:645:d19 Non-privileged (19) attempt to map I/O space 000000f0
(XEN) mm.c:645:d20 Non-privileged (20) attempt to map I/O space 000000f0
ну а потом я пошел смотреть логи и увидел там проблемы:
Код: Выделить всё
leda:~# tail /var/log/syslog
Dec 4 08:17:01 leda /USR/SBIN/CRON[18461]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 08:46:26 leda -- MARK --
Dec 4 09:06:26 leda -- MARK --
Dec 4 09:11:02 leda ntpd[18085]: kernel time sync error 0001
Dec 4 09:17:01 leda /USR/SBIN/CRON[18464]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 09:45:13 leda ntpd[18085]: kernel time sync error 0001
Dec 4 10:06:27 leda -- MARK --
Dec 4 10:06:37 leda ntpd[18085]: kernel time sync error 0001
Dec 4 10:17:01 leda /USR/SBIN/CRON[18467]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 10:46:27 leda -- MARK --вот этого: leda ntpd[18085]: kernel time sync error 0001
раньше не было.
сети забыл:
Код:
leda:~# ifconfig
br0 Link encap:Ethernet HWaddr 00:15:17:26:4c:83
inet addr:172.16.42.240 Bcast:172.16.42.255 Mask:255.255.255.0
inet6 addr: fe80::215:17ff:fe26:4c83/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:8048061 errors:0 dropped:0 overruns:0 frame:0
TX packets:7099359 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:508562446 (485.0 MiB) TX bytes:980592760 (935.1 MiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:169 errors:0 dropped:0 overruns:0 frame:0
TX packets:169 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:18928 (18.4 KiB) TX bytes:18928 (18.4 KiB)
peth0 Link encap:Ethernet HWaddr 00:15:17:26:4c:83
inet6 addr: fe80::215:17ff:fe26:4c83/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:638607071 errors:12 dropped:113 overruns:0 frame:6
TX packets:915223187 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1344612717 (1.2 GiB) TX bytes:3331302285 (3.1 GiB)
Base address:0x1000 Memory:e1920000-e1940000
vif20.0 Link encap:Ethernet HWaddr fe:ff:ff:ff:ff:ff
inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:299697894 errors:0 dropped:0 overruns:0 frame:0
TX packets:585819049 errors:0 dropped:1502 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:913417699 (871.1 MiB) TX bytes:800569300 (763.4 MiB)
leda:~# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.16.42.0 0.0.0.0 255.255.255.0 U 0 0 0 br0
0.0.0.0 172.16.42.250 0.0.0.0 UG 0 0 0 br0
кстати на виртуальной машине те же пироги:
Код:
Dec 4 08:01:12 amalthea mountd[1296]: authenticated mount request from 172.16.42.78:1008 for /nfs/2 (/nfs/2)
Dec 4 08:01:16 amalthea mountd[1296]: authenticated mount request from 172.16.42.138:842 for /nfs/2 (/nfs/2)
Dec 4 08:01:27 amalthea mountd[1296]: authenticated mount request from 172.16.42.139:989 for /nfs/2 (/nfs/2)
Dec 4 08:01:34 amalthea mountd[1296]: authenticated mount request from 172.16.42.79:854 for /nfs/2 (/nfs/2)
Dec 4 08:02:52 amalthea mountd[1296]: authenticated mount request from 172.16.42.139:949 for /nfs/2 (/nfs/2)
Dec 4 08:04:22 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE
Dec 4 08:04:22 amalthea kernel: CIFS VFS: Send error in SessSetup = -13
Dec 4 08:04:22 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13
Dec 4 08:04:22 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE
Dec 4 08:04:22 amalthea kernel: CIFS VFS: Send error in SessSetup = -13
Dec 4 08:04:22 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13
Dec 4 08:15:31 amalthea mountd[1296]: authenticated mount request from 172.16.42.13:893 for /nfs/2 (/nfs/2)
Dec 4 08:15:46 amalthea mountd[1296]: authenticated mount request from 172.16.42.79:737 for /nfs/2 (/nfs/2)
Dec 4 08:17:01 amalthea /USR/SBIN/CRON[30765]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 08:17:05 amalthea kernel: Status code returned 0xc0000071 NT_STATUS_PASSWORD_EXPIRED
Dec 4 08:17:05 amalthea kernel: CIFS VFS: Send error in SessSetup = -127
Dec 4 08:17:05 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -127
Dec 4 08:17:05 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE
Dec 4 08:17:05 amalthea kernel: CIFS VFS: Send error in SessSetup = -13
Dec 4 08:17:05 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13
Dec 4 08:36:35 amalthea ntpd[14542]: kernel time sync error 0001
Dec 4 08:44:38 amalthea mountd[1296]: authenticated mount request from 172.16.42.116:681 for /nfs/2 (/nfs/2)
Dec 4 09:10:42 amalthea ntpd[14542]: kernel time sync error 0001
Dec 4 09:17:01 amalthea /USR/SBIN/CRON[31550]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 09:44:49 amalthea ntpd[14542]: kernel time sync error 0001
Dec 4 10:13:21 amalthea mountd[1296]: authenticated mount request from 172.16.42.138:877 for /nfs/2 (/nfs/2)
Dec 4 10:17:01 amalthea /USR/SBIN/CRON[32281]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
Dec 4 10:19:01 amalthea ntpd[14542]: kernel time sync error 0001
для эксперимента попробуйте делать что-нить не сетевое и короткое на виртуальной машине, скажем с интервалом пол-секунды - будут ли заметны при этом упоминаемые задержки?
если запустить чтото типа:
while [ 1 == 1 ];do
time sleep 10
done
это подойдет?
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
vr13
- Сообщения: 887
- ОС: gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
вопросы:
1. а дзена поновее (3.3) у дебиана нет? там вроде бы подправилось много всего, связанное как раз с прерываниями acpi, а также улучшена работа с apic
2. виртуальная машина у вас однопроцессорная, у нее можно выключать apic (так, на всякий случай) - apic=0. можно за одно и acpi убрать аналогичным способом (кстати, интересно - я не проверял, а эти параметры с паравиртуальными машиными совместимы? - хз. у меня только hvm domains)
3. погуглив с первого раза увидел: kernel time sync error 0001. вроде бы фигня, отношения к проблеме не имеет
4. я бы сделал таймер поточнее (sleep ну ооочень приблизительная штука
и меньше секунды, например
#!/usr/bin/perl -w
use Time::HiRes qw(setitimer ITIMER_REAL time);
use POSIX qw(pause);
$SIG{ALRM}=sub{print time,"\n";};
setitimer(ITIMER_REAL, 0.5, 0.5);
#
while(1) {pause;}
вывод - в файл. во время пользовательских тормозов смотрим в файл - если по прежнему интервал полсекунды, то значит - сеть. если и там тормозит - значит система
добавлено: про apic скорее всего погорячился
1. а дзена поновее (3.3) у дебиана нет? там вроде бы подправилось много всего, связанное как раз с прерываниями acpi, а также улучшена работа с apic
2. виртуальная машина у вас однопроцессорная, у нее можно выключать apic (так, на всякий случай) - apic=0. можно за одно и acpi убрать аналогичным способом (кстати, интересно - я не проверял, а эти параметры с паравиртуальными машиными совместимы? - хз. у меня только hvm domains)
3. погуглив с первого раза увидел: kernel time sync error 0001. вроде бы фигня, отношения к проблеме не имеет
4. я бы сделал таймер поточнее (sleep ну ооочень приблизительная штука
#!/usr/bin/perl -w
use Time::HiRes qw(setitimer ITIMER_REAL time);
use POSIX qw(pause);
$SIG{ALRM}=sub{print time,"\n";};
setitimer(ITIMER_REAL, 0.5, 0.5);
#
while(1) {pause;}
вывод - в файл. во время пользовательских тормозов смотрим в файл - если по прежнему интервал полсекунды, то значит - сеть. если и там тормозит - значит система
добавлено: про apic скорее всего погорячился
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
спасибо, завтра все погляжу.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
то, что у меня в lenny:
в общем запустил этот скрипт на перле.
вывод в файл. во время работы скрипта однозначно были лаги.
написал вот такую штуку:
итого: задержек у скрипта больше, чем на 1 секунду не было.
вывод - это сеть?
скажем прямо - это фигово :-(
физическая сеть у нас хорошая, раньше на этом сервере было то же самое, только без ксена.
похоже, что дело именно в ксеновской работе с сетью.
Код: Выделить всё
leda:~# dpkg --list | grep xen
ii drbd8-2.6.18-6-xen-686 2:8.0.13-2+2.6.18.dfsg.1-22 RAID 1 over tcp/ip for Linux kernel module
ii libc6-xen 2.7-13 GNU C Library: Shared libraries [Xen version]
ii libxenstore3.0 3.2.1-2 Xenstore communications library for Xen
ii linux-headers-2.6.18-6-xen 2.6.18.dfsg.1-22 Common header files for Linux 2.6.18
ii linux-headers-2.6.18-6-xen-686 2.6.18.dfsg.1-22 Header files for Linux 2.6.18 on i686
ii linux-image-2.6.18-6-xen-686 2.6.18.dfsg.1-22 Linux 2.6.18 image on i686
ii linux-modules-2.6.18-6-xen-686 2.6.18.dfsg.1-22 Linux 2.6.18 modules on i686
ii xen-hypervisor-3.2-1-i386 3.2.1-2 The Xen Hypervisor on i386
ii xen-utils-3.2-1 3.2.1-2 XEN administrative tools
ii xen-utils-common 3.2.0-2 XEN administrative tools - common files
ii xenstore-utils 3.2.1-2 Xenstore utilities for Xenв общем запустил этот скрипт на перле.
вывод в файл. во время работы скрипта однозначно были лаги.
написал вот такую штуку:
Код: Выделить всё
amalthea:~# cat ./analiz
#!/bin/bash
while read a b; do
read b
a=`echo $a| cut -d'.' -f1`
b=`echo $b| cut -d'.' -f1`
let x=$b-$a
if [ $x -gt 1 ];then
echo $a $b
fi
done<resultитого: задержек у скрипта больше, чем на 1 секунду не было.
вывод - это сеть?
скажем прямо - это фигово :-(
физическая сеть у нас хорошая, раньше на этом сервере было то же самое, только без ксена.
похоже, что дело именно в ксеновской работе с сетью.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
итак, дело НЕ в реализации сети xen-ом.
в domU пробросил одну PCI - 2ю сетевуху сервера.
при подлючении к ней проблемы те же. тоесть и на ней тоже лагает, пропадает пинг и т.п.
для того, чтобы пробросить сетевуху пришлось в domU поставить ядро 26.
лаги при этом (с новым ядром) увеличились до минуты и больше (!)
в срочном порядке откатился назад - работать невозможно.
по мудрому совету коллеги поставил в domU sysstat (sar). только не совсем понимаю - что там в нем искать.
в domU пробросил одну PCI - 2ю сетевуху сервера.
при подлючении к ней проблемы те же. тоесть и на ней тоже лагает, пропадает пинг и т.п.
для того, чтобы пробросить сетевуху пришлось в domU поставить ядро 26.
лаги при этом (с новым ядром) увеличились до минуты и больше (!)
в срочном порядке откатился назад - работать невозможно.
по мудрому совету коллеги поставил в domU sysstat (sar). только не совсем понимаю - что там в нем искать.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
guglez
- Сообщения: 394
- ОС: GNU/Linux
Re: Решено: сервер, запущеный в xen-е "лагает"
В нем можно искать в каком месте возникает узкое место. НАпример
Если будет зашкаливать iowait в момент лагов - значит траблы в пропускной способности дисковой подсистемы (или бед блоки) ну и т.д. В мане сара описанны различные параметры, которые могут мониториться.
Код: Выделить всё
sar -u 10 0
Linux 2.6.27-9-server (1111111) 26.12.2008 _i686_
12:15:52 CPU %user %nice %system %iowait %steal %idle
12:16:02 all 3,13 0,00 1,35 0,00 0,00 95,52
12:16:12 all 3,48 0,00 1,32 0,00 0,00 95,21
12:16:22 all 3,02 0,00 1,27 0,00 0,00 95,71
12:16:32 all 4,97 0,00 1,61 0,00 0,00 93,42Если будет зашкаливать iowait в момент лагов - значит траблы в пропускной способности дисковой подсистемы (или бед блоки) ну и т.д. В мане сара описанны различные параметры, которые могут мониториться.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
ага, спасибо, понятно.
проиграл им логи в /var/log/sysstat/sa* - там пиковых нагрузок в iowait не заметил.
пока включил на одном клиенте себе sar -u 1 0 и поглядываю туда.
проиграл им логи в /var/log/sysstat/sa* - там пиковых нагрузок в iowait не заметил.
пока включил на одном клиенте себе sar -u 1 0 и поглядываю туда.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
только что своими глазами наблюдал следующую картину:
на клиенте запустил показываться sar -u 1 0 и top с интервалом 0.1 сек. (показывает данные с сервера, ессесно)
был "лаг" секунды на 3.
по прошествии эитх секунд консоли резко выплюнули те строчки, которые нарисовались за жто время (несколько штук).
в них ничего необычного - загрузка процессора, iowait и т.п. очень низкие.
видимо все таки дело в сети. но теперь я знаю, что ксеновская реализация сети тут ни при чем - реальная сетевуха в domU замирает вместе с ксеновым vif.
на клиенте запустил показываться sar -u 1 0 и top с интервалом 0.1 сек. (показывает данные с сервера, ессесно)
был "лаг" секунды на 3.
по прошествии эитх секунд консоли резко выплюнули те строчки, которые нарисовались за жто время (несколько штук).
в них ничего необычного - загрузка процессора, iowait и т.п. очень низкие.
видимо все таки дело в сети. но теперь я знаю, что ксеновская реализация сети тут ни при чем - реальная сетевуха в domU замирает вместе с ксеновым vif.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
guglez
- Сообщения: 394
- ОС: GNU/Linux
Re: Решено: сервер, запущеный в xen-е "лагает"
Ага!!!! Я наблюдал тоже самое на vmware! Даже топик соответствующий создавал. Точно я не понял почему это было, подозреваю что это оперативка свопится. Причем если на сервере высокая активность - то такие тормоза случаются реже.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
Ага!!!! Я наблюдал тоже самое на vmware! Даже топик соответствующий создавал. Точно я не понял почему это было, подозреваю что это оперативка свопится. Причем если на сервере высокая активность - то такие тормоза случаются реже.
блин, хоть кто-то видел что-то подобное.
насчет свопа - сильно сомневаюсь, дело в том, что у меня вообще сначала (при небольшом количестве народа) сервер работал без свопа и наблюдались те же косяки.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
guglez
- Сообщения: 394
- ОС: GNU/Linux
Re: Решено: сервер, запущеный в xen-е "лагает"
помогите вывести хостинг-провайдера на чистую воду
вот тема моя
Можно попробовать коллективно подумать в чем может быть дело... На другой машине пробовали эту систему запускать? Просто в моем случае я не имел доступа к хостовой системе.
вот тема моя
Можно попробовать коллективно подумать в чем может быть дело... На другой машине пробовали эту систему запускать? Просто в моем случае я не имел доступа к хостовой системе.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
Можно попробовать коллективно подумать в чем может быть дело
с удовольствием.
давайте так - я на этим выходных выкрою время (постараюсь пораньше) и детально опишу - что и как у меня работает, чтобы было все понятно.
надеюсь - разберёмся ;-)
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
guglez
- Сообщения: 394
- ОС: GNU/Linux
Re: Решено: сервер, запущеный в xen-е "лагает"
Думаю сейчас не до того будет ))) НГ!
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
угу - это точно. бегаю с подарками :-)
точнее с их отсутствием ;-)
точнее с их отсутствием ;-)
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
-
Ленивая Бестолочь
- Бывший модератор
- Сообщения: 2760
- ОС: Debian; gentoo
Re: Решено: сервер, запущеный в xen-е "лагает"
похоже, что нашлось решение.
действительно дело в реализации сетей в xen.
помогает отключение механизма разгрузки TCP:
нашел на xgu.ru
действительно дело в реализации сетей в xen.
помогает отключение механизма разгрузки TCP:
Код: Выделить всё
ethtool -K eth0 tx offнашел на xgu.ru
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.