Решено: сервер, запущеный в xen-е "лагает"

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

в ксене в качестве паравиртуальной машине запущен сервер.
реальная машина:
стоечный интел 3000
xeon
памяти - 4gb
стоит: debian lenny 2.6.18-6-xen-686

виртуальна машина:
используется 3,5gb памяти сервера,
стоит: 2.6.18-6-xen-686

на виртуалке запущен x11 терминал, к которому подключаются тонкие клиенты.
там стоит ~ xfce4, xdm, OOo, icedove, iceweasel, gimp, konqueror (thunar народ не устроил)

проблема в том, что периодически (примерно раз в пол-часа) машина встает в мертвую на секунду-две-пять.
не работает вообще ничего, только мышка по экрану ездит (щелкнуть куда-либо нельзя).
происходит это без предупреждения, без каких-либо видимых признаков.
(в логах ничего подозрительного нет в этот момент)
загрузка проца при этом может быть минимальной.

такой происходит даже когда на машине работает один юзер.

первая мысль была - это ntp на реальной машине переводит часы.
выключил - все так же.

если кто сталкивался - помогите пожалуйста.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
o6s
Сообщения: 187

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение o6s »

Если не примерно, а точно в интервал времени то может cron ?)
И можно всё же увидеть syslog.
Просто у самого виртуалка на xen сижу как на бомбе жду чего-то плохого, но пока (5-й день) вроде всё good )
Спасибо сказали:
Аватара пользователя
pilson66
Сообщения: 59
ОС: Debian Squeeze

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение pilson66 »

А локально на сервере - тоже лаг такой?
если нет - то может стоит в сторону свича посмотреть?
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

Просто у самого виртуалка на xen сижу как на бомбе жду чего-то плохого, но пока (5-й день) вроде всё good )

очень знакомое ощущение :-)
сам все время жду подвоха.
может вас успокоит - у меня уже порядка 5ти серверов(железок) с ксеном... тьфу-тьфу-тьфу все (за исключением эхотега) ок.
логи доставлю завтра.

локально проверить нельзя по тому, что на самом сервере иксов нет, только программы, которые в иксах(запущенных на клиентах) запускаются. ставить бы не хотелось.
в консоли (когда на нем ssh-ем сижу - все очень даже гут).
(в ксеновой машине - когда в консоли сидишь лаги наблюдаются).
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
vr13
Сообщения: 887
ОС: gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение vr13 »

JIeHb писал(а):
04.12.2008 00:08
логи доставлю завтра.

и еще к логам - информацию про конфигурауию дзена и виртуальной машины (машин):
xm dmesg
xm list -l

а также - информацию про конфигурацию виртуальной сети

по ощущениям от написанного, кажется, что что это сеть (для эксперимента попробуйте делать что-нить не сетевое и короткое на виртуальной машине, скажем с интервалом пол-секунды - будут ли заметны при этом упоминаемые задержки?
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

конфигурация виртуальной машины:

Код:

leda:~# xm list Name ID Mem VCPUs State Time(s) Domain-0 0 464 2 r----- 24015.0 amalthea 20 3584 1 -b---- 45298.8 leda:~# xm list -l (domain (domid 0) (on_crash restart) (uuid 00000000-0000-0000-0000-000000000000) (bootloader_args ) (vcpus 2) (name Domain-0) (on_poweroff destroy) (on_reboot restart) (bootloader ) (maxmem 4194303) (memory 464) (shadow_memory 0) (features ) (on_xend_start ignore) (on_xend_stop ignore) (cpu_time 24015.0920781) (online_vcpus 2) (security_label ) (image (linux (kernel ))) (status 2) (state r-----) ) (domain (domid 20) (on_crash restart) (uuid 2a2322f6-bd0c-5703-e663-f754498d2004) (bootloader_args ) (vcpus 1) (name amalthea) (on_poweroff destroy) (on_reboot restart) (bootloader ) (maxmem 3584) (memory 3584) (shadow_memory 0) (features ) (on_xend_start ignore) (on_xend_stop ignore) (start_time 1227514931.07) (cpu_time 45298.8486818) (online_vcpus 1) (image (linux (kernel /boot/vmlinuz-2.6.18-6-xen-686) (ramdisk /boot/initrd.img-2.6.18-6-xen-686) (args 'root=/dev/hda1 ro ') (notes (FEATURES 'writable_page_tables|writable_descriptor_tables|auto_translated_physmap|pae_ pgdir_above_4gb|supervisor_mode_kernel' ) (VIRT_BASE 3221225472) (GUEST_VERSION 2.6) (PADDR_OFFSET 3221225472) (GUEST_OS linux) (HYPERCALL_PAGE 3222278144) (LOADER generic) (PAE_MODE yes) (ENTRY 3222274048) (XEN_VERSION xen-3.0) ) ) ) (status 2) (state -b----) (store_mfn 1070155) (console_mfn 1107420) (device (vif (bridge br0) (mac 00:16:3e:29:db:85) (script vif-bridge) (uuid 0357826f-8ace-da64-ade8-a163ee7c93a0) (backend 0) ) ) (device (vbd (uname phy:drbd1) (uuid 56b48d41-ffe0-ff93-4546-aaaa554ad6ed) (mode w) (dev hda1:disk) (backend 0) (bootable 1) (VDI ) ) ) (device (vbd (uname phy:drbd2) (uuid 304797a9-77e0-bedf-2b16-5e52aeb752b7) (mode w) (dev hdb1:disk) (backend 0) (bootable 0) (VDI ) ) ) (device (console (protocol vt100) (location 2) (uuid 13add062-8f6a-4622-63ec-2d8db4b1676c) ) ) )

конфиг на всякий случай:

Код: Выделить всё

leda:~# cat /etc/xen/amalthea
kernel = "/boot/vmlinuz-2.6.18-6-xen-686"
ramdisk = "/boot/initrd.img-2.6.18-6-xen-686"
builder='linux'
memory = 3584
name = "amalthea"
vif = [ 'bridge=br0' ]
disk = [ 'phy:drbd1,hda1,w','phy:drbd2,hdb1,w' ]
root = "/dev/hda1 ro"
extra = ""

это xm dmesg:

Код:

leda:~# xm dmesg (XEN) Xen version 3.2-1 (Debian 3.2.1-2) (waldi@debian.org) (gcc version 4.3.1 (Debian 4.3.1-2) ) Sat Jun 28 15:25:00 UTC 2008 (XEN) Command line: (XEN) Video information: (XEN) VGA is text mode 80x25, font 8x16 (XEN) VBE/DDC methods: none; EDID transfer time: 0 seconds (XEN) EDID info not retrieved because no DDC retrieval method detected (XEN) Disc information: (XEN) Found 2 MBR signatures (XEN) Found 2 EDD information structures (XEN) Xen-e820 RAM map: (XEN) 0000000000000000 - 000000000009fc00 (usable) (XEN) 000000000009fc00 - 0000000000100000 (reserved) (XEN) 0000000000100000 - 00000000dfcf0000 (usable) (XEN) 00000000dfcf0000 - 00000000dfd96000 (ACPI NVS) (XEN) 00000000dfd96000 - 00000000dfdfd000 (usable) (XEN) 00000000dfdfd000 - 00000000dfe5f000 (reserved) (XEN) 00000000dfe5f000 - 00000000dfe68000 (usable) (XEN) 00000000dfe68000 - 00000000dfedf000 (ACPI NVS) (XEN) 00000000dfedf000 - 00000000dfee5000 (usable) (XEN) 00000000dfee5000 - 00000000dfeff000 (ACPI data) (XEN) 00000000dfeff000 - 00000000dff00000 (usable) (XEN) 00000000dff00000 - 00000000e0000000 (reserved) (XEN) 00000000f0000000 - 00000000f4000000 (reserved) (XEN) 00000000fff80000 - 00000000fff8c000 (reserved) (XEN) 0000000100000000 - 0000000120000000 (usable) (XEN) System RAM: 4093MB (4191256kB) (XEN) Xen heap: 9MB (10000kB) (XEN) Domain heap initialised: DMA width 32 bits (XEN) PAE enabled, limit: 16 GB (XEN) Processor #0 6:15 APIC version 20 (XEN) Processor #1 6:15 APIC version 20 (XEN) IOAPIC[0]: apic_id 5, version 32, address 0xfec00000, GSI 0-23 (XEN) Enabling APIC mode: Flat. Using 1 I/O APICs (XEN) Using scheduler: SMP Credit Scheduler (credit) (XEN) Detected 2327.549 MHz processor. (XEN) HVM: VMX enabled (XEN) CPU0: Intel® Xeon® CPU 3065 @ 2.33GHz stepping 0b (XEN) Booting processor 1/1 eip 8c000 (XEN) CPU1: Intel® Xeon® CPU 3065 @ 2.33GHz stepping 0b (XEN) Total of 2 processors activated. (XEN) ENABLING IO-APIC IRQs (XEN) -> Using new ACK method (XEN) Platform timer overflows in 14998 jiffies. (XEN) Platform timer is 14.318MHz HPET (XEN) Brought up 2 CPUs (XEN) AMD IOMMU: Disabled (XEN) *** LOADING DOMAIN 0 *** (XEN) Xen kernel: 32-bit, PAE, lsb (XEN) Dom0 kernel: 32-bit, PAE, lsb, paddr 0xc0100000 -> 0xc0396a54 (XEN) PHYSICAL MEMORY ARRANGEMENT: (XEN) Dom0 alloc.: 000000003c000000->000000003e000000 (995431 pages to be allocated) (XEN) VIRTUAL MEMORY ARRANGEMENT: (XEN) Loaded kernel: c0100000->c0396a54 (XEN) Init. ramdisk: c0397000->c10ac800 (XEN) Phys-Mach map: c10ad000->c148119c (XEN) Start info: c1482000->c1482474 (XEN) Page tables: c1483000->c1494000 (XEN) Boot stack: c1494000->c1495000 (XEN) TOTAL: c0000000->c1800000 (XEN) ENTRY ADDRESS: c0100000 (XEN) Dom0 has maximum 2 VCPUs (XEN) Initrd len 0xd15800, start at 0xc0397000 (XEN) Scrubbing Free RAM: .done. (XEN) Xen trace buffers: disabled (XEN) Std. Loglevel: Errors and warnings (XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings) (XEN) Xen is relinquishing VGA console. (XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen) (XEN) Freed 96kB init memory. (XEN) mm.c:645:d2 Non-privileged (2) attempt to map I/O space 000000f0 (XEN) mm.c:645:d12 Non-privileged (12) attempt to map I/O space 000000f0 (XEN) mm.c:645:d13 Non-privileged (13) attempt to map I/O space 000000f0 (XEN) mm.c:645:d14 Non-privileged (14) attempt to map I/O space 000000f0 (XEN) mm.c:645:d16 Non-privileged (16) attempt to map I/O space 000000f0 (XEN) mm.c:645:d18 Non-privileged (18) attempt to map I/O space 000000f0 (XEN) mm.c:645:d19 Non-privileged (19) attempt to map I/O space 000000f0 (XEN) mm.c:645:d20 Non-privileged (20) attempt to map I/O space 000000f0


ну а потом я пошел смотреть логи и увидел там проблемы:

Код: Выделить всё

leda:~# tail /var/log/syslog
Dec  4 08:17:01 leda /USR/SBIN/CRON[18461]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Dec  4 08:46:26 leda -- MARK --
Dec  4 09:06:26 leda -- MARK --
Dec  4 09:11:02 leda ntpd[18085]: kernel time sync error 0001
Dec  4 09:17:01 leda /USR/SBIN/CRON[18464]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Dec  4 09:45:13 leda ntpd[18085]: kernel time sync error 0001
Dec  4 10:06:27 leda -- MARK --
Dec  4 10:06:37 leda ntpd[18085]: kernel time sync error 0001
Dec  4 10:17:01 leda /USR/SBIN/CRON[18467]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Dec  4 10:46:27 leda -- MARK --


вот этого: leda ntpd[18085]: kernel time sync error 0001
раньше не было.

сети забыл:

Код:

leda:~# ifconfig br0 Link encap:Ethernet HWaddr 00:15:17:26:4c:83 inet addr:172.16.42.240 Bcast:172.16.42.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe26:4c83/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:8048061 errors:0 dropped:0 overruns:0 frame:0 TX packets:7099359 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:508562446 (485.0 MiB) TX bytes:980592760 (935.1 MiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:169 errors:0 dropped:0 overruns:0 frame:0 TX packets:169 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:18928 (18.4 KiB) TX bytes:18928 (18.4 KiB) peth0 Link encap:Ethernet HWaddr 00:15:17:26:4c:83 inet6 addr: fe80::215:17ff:fe26:4c83/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:638607071 errors:12 dropped:113 overruns:0 frame:6 TX packets:915223187 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:1344612717 (1.2 GiB) TX bytes:3331302285 (3.1 GiB) Base address:0x1000 Memory:e1920000-e1940000 vif20.0 Link encap:Ethernet HWaddr fe:ff:ff:ff:ff:ff inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:299697894 errors:0 dropped:0 overruns:0 frame:0 TX packets:585819049 errors:0 dropped:1502 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:913417699 (871.1 MiB) TX bytes:800569300 (763.4 MiB) leda:~# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 172.16.42.0 0.0.0.0 255.255.255.0 U 0 0 0 br0 0.0.0.0 172.16.42.250 0.0.0.0 UG 0 0 0 br0


кстати на виртуальной машине те же пироги:

Код:

Dec 4 08:01:12 amalthea mountd[1296]: authenticated mount request from 172.16.42.78:1008 for /nfs/2 (/nfs/2) Dec 4 08:01:16 amalthea mountd[1296]: authenticated mount request from 172.16.42.138:842 for /nfs/2 (/nfs/2) Dec 4 08:01:27 amalthea mountd[1296]: authenticated mount request from 172.16.42.139:989 for /nfs/2 (/nfs/2) Dec 4 08:01:34 amalthea mountd[1296]: authenticated mount request from 172.16.42.79:854 for /nfs/2 (/nfs/2) Dec 4 08:02:52 amalthea mountd[1296]: authenticated mount request from 172.16.42.139:949 for /nfs/2 (/nfs/2) Dec 4 08:04:22 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE Dec 4 08:04:22 amalthea kernel: CIFS VFS: Send error in SessSetup = -13 Dec 4 08:04:22 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13 Dec 4 08:04:22 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE Dec 4 08:04:22 amalthea kernel: CIFS VFS: Send error in SessSetup = -13 Dec 4 08:04:22 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13 Dec 4 08:15:31 amalthea mountd[1296]: authenticated mount request from 172.16.42.13:893 for /nfs/2 (/nfs/2) Dec 4 08:15:46 amalthea mountd[1296]: authenticated mount request from 172.16.42.79:737 for /nfs/2 (/nfs/2) Dec 4 08:17:01 amalthea /USR/SBIN/CRON[30765]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly) Dec 4 08:17:05 amalthea kernel: Status code returned 0xc0000071 NT_STATUS_PASSWORD_EXPIRED Dec 4 08:17:05 amalthea kernel: CIFS VFS: Send error in SessSetup = -127 Dec 4 08:17:05 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -127 Dec 4 08:17:05 amalthea kernel: Status code returned 0xc000006d NT_STATUS_LOGON_FAILURE Dec 4 08:17:05 amalthea kernel: CIFS VFS: Send error in SessSetup = -13 Dec 4 08:17:05 amalthea kernel: CIFS VFS: cifs_mount failed w/return code = -13 Dec 4 08:36:35 amalthea ntpd[14542]: kernel time sync error 0001 Dec 4 08:44:38 amalthea mountd[1296]: authenticated mount request from 172.16.42.116:681 for /nfs/2 (/nfs/2) Dec 4 09:10:42 amalthea ntpd[14542]: kernel time sync error 0001 Dec 4 09:17:01 amalthea /USR/SBIN/CRON[31550]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly) Dec 4 09:44:49 amalthea ntpd[14542]: kernel time sync error 0001 Dec 4 10:13:21 amalthea mountd[1296]: authenticated mount request from 172.16.42.138:877 for /nfs/2 (/nfs/2) Dec 4 10:17:01 amalthea /USR/SBIN/CRON[32281]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly) Dec 4 10:19:01 amalthea ntpd[14542]: kernel time sync error 0001


для эксперимента попробуйте делать что-нить не сетевое и короткое на виртуальной машине, скажем с интервалом пол-секунды - будут ли заметны при этом упоминаемые задержки?

если запустить чтото типа:
while [ 1 == 1 ];do
time sleep 10
done
это подойдет?
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
vr13
Сообщения: 887
ОС: gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение vr13 »

вопросы:
1. а дзена поновее (3.3) у дебиана нет? там вроде бы подправилось много всего, связанное как раз с прерываниями acpi, а также улучшена работа с apic
2. виртуальная машина у вас однопроцессорная, у нее можно выключать apic (так, на всякий случай) - apic=0. можно за одно и acpi убрать аналогичным способом (кстати, интересно - я не проверял, а эти параметры с паравиртуальными машиными совместимы? - хз. у меня только hvm domains)
3. погуглив с первого раза увидел: kernel time sync error 0001. вроде бы фигня, отношения к проблеме не имеет
4. я бы сделал таймер поточнее (sleep ну ооочень приблизительная штука :) и меньше секунды, например

#!/usr/bin/perl -w
use Time::HiRes qw(setitimer ITIMER_REAL time);
use POSIX qw(pause);
$SIG{ALRM}=sub{print time,"\n";};
setitimer(ITIMER_REAL, 0.5, 0.5);
#
while(1) {pause;}

вывод - в файл. во время пользовательских тормозов смотрим в файл - если по прежнему интервал полсекунды, то значит - сеть. если и там тормозит - значит система

добавлено: про apic скорее всего погорячился :)
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

спасибо, завтра все погляжу.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

то, что у меня в lenny:

Код: Выделить всё

leda:~# dpkg --list | grep xen
ii  drbd8-2.6.18-6-xen-686            2:8.0.13-2+2.6.18.dfsg.1-22 RAID 1 over tcp/ip for Linux kernel module
ii  libc6-xen                         2.7-13                      GNU C Library: Shared libraries [Xen version]
ii  libxenstore3.0                    3.2.1-2                     Xenstore communications library for Xen
ii  linux-headers-2.6.18-6-xen        2.6.18.dfsg.1-22            Common header files for Linux 2.6.18
ii  linux-headers-2.6.18-6-xen-686    2.6.18.dfsg.1-22            Header files for Linux 2.6.18 on i686
ii  linux-image-2.6.18-6-xen-686      2.6.18.dfsg.1-22            Linux 2.6.18 image on i686
ii  linux-modules-2.6.18-6-xen-686    2.6.18.dfsg.1-22            Linux 2.6.18 modules on i686
ii  xen-hypervisor-3.2-1-i386         3.2.1-2                     The Xen Hypervisor on i386
ii  xen-utils-3.2-1                   3.2.1-2                     XEN administrative tools
ii  xen-utils-common                  3.2.0-2                     XEN administrative tools - common files
ii  xenstore-utils                    3.2.1-2                     Xenstore utilities for Xen


в общем запустил этот скрипт на перле.
вывод в файл. во время работы скрипта однозначно были лаги.
написал вот такую штуку:

Код: Выделить всё

amalthea:~# cat ./analiz
#!/bin/bash
while read a b; do
    read b
    a=`echo $a| cut -d'.' -f1`
    b=`echo $b| cut -d'.' -f1`
    let x=$b-$a
    if [ $x -gt 1 ];then
        echo $a   $b
    fi
done<result

итого: задержек у скрипта больше, чем на 1 секунду не было.
вывод - это сеть?

скажем прямо - это фигово :-(
физическая сеть у нас хорошая, раньше на этом сервере было то же самое, только без ксена.
похоже, что дело именно в ксеновской работе с сетью.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

итак, дело НЕ в реализации сети xen-ом.
в domU пробросил одну PCI - 2ю сетевуху сервера.
при подлючении к ней проблемы те же. тоесть и на ней тоже лагает, пропадает пинг и т.п.
для того, чтобы пробросить сетевуху пришлось в domU поставить ядро 26.
лаги при этом (с новым ядром) увеличились до минуты и больше (!)
в срочном порядке откатился назад - работать невозможно.

по мудрому совету коллеги поставил в domU sysstat (sar). только не совсем понимаю - что там в нем искать.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
guglez
Сообщения: 394
ОС: GNU/Linux

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение guglez »

В нем можно искать в каком месте возникает узкое место. НАпример

Код: Выделить всё

sar -u 10 0
Linux 2.6.27-9-server (1111111)   26.12.2008      _i686_

12:15:52        CPU     %user     %nice   %system   %iowait    %steal     %idle
12:16:02        all      3,13      0,00      1,35      0,00      0,00     95,52
12:16:12        all      3,48      0,00      1,32      0,00      0,00     95,21
12:16:22        all      3,02      0,00      1,27      0,00      0,00     95,71
12:16:32        all      4,97      0,00      1,61      0,00      0,00     93,42


Если будет зашкаливать iowait в момент лагов - значит траблы в пропускной способности дисковой подсистемы (или бед блоки) ну и т.д. В мане сара описанны различные параметры, которые могут мониториться.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

ага, спасибо, понятно.
проиграл им логи в /var/log/sysstat/sa* - там пиковых нагрузок в iowait не заметил.
пока включил на одном клиенте себе sar -u 1 0 и поглядываю туда.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

только что своими глазами наблюдал следующую картину:

на клиенте запустил показываться sar -u 1 0 и top с интервалом 0.1 сек. (показывает данные с сервера, ессесно)
был "лаг" секунды на 3.
по прошествии эитх секунд консоли резко выплюнули те строчки, которые нарисовались за жто время (несколько штук).
в них ничего необычного - загрузка процессора, iowait и т.п. очень низкие.

видимо все таки дело в сети. но теперь я знаю, что ксеновская реализация сети тут ни при чем - реальная сетевуха в domU замирает вместе с ксеновым vif.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
guglez
Сообщения: 394
ОС: GNU/Linux

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение guglez »

Ага!!!! Я наблюдал тоже самое на vmware! Даже топик соответствующий создавал. Точно я не понял почему это было, подозреваю что это оперативка свопится. Причем если на сервере высокая активность - то такие тормоза случаются реже.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

Ага!!!! Я наблюдал тоже самое на vmware! Даже топик соответствующий создавал. Точно я не понял почему это было, подозреваю что это оперативка свопится. Причем если на сервере высокая активность - то такие тормоза случаются реже.

блин, хоть кто-то видел что-то подобное.
насчет свопа - сильно сомневаюсь, дело в том, что у меня вообще сначала (при небольшом количестве народа) сервер работал без свопа и наблюдались те же косяки.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
guglez
Сообщения: 394
ОС: GNU/Linux

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение guglez »

помогите вывести хостинг-провайдера на чистую воду
вот тема моя
Можно попробовать коллективно подумать в чем может быть дело... На другой машине пробовали эту систему запускать? Просто в моем случае я не имел доступа к хостовой системе.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

Можно попробовать коллективно подумать в чем может быть дело

с удовольствием.

давайте так - я на этим выходных выкрою время (постараюсь пораньше) и детально опишу - что и как у меня работает, чтобы было все понятно.
надеюсь - разберёмся ;-)
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
guglez
Сообщения: 394
ОС: GNU/Linux

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение guglez »

Думаю сейчас не до того будет ))) НГ!
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

угу - это точно. бегаю с подарками :-)

точнее с их отсутствием ;-)
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Решено: сервер, запущеный в xen-е "лагает"

Сообщение Ленивая Бестолочь »

похоже, что нашлось решение.
действительно дело в реализации сетей в xen.
помогает отключение механизма разгрузки TCP:

Код: Выделить всё

ethtool -K eth0 tx off

нашел на xgu.ru
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали: