xen падение dom0 при запуске некоторых ядер Linux в HVM

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модератор: SLEDopit

Ответить
Аватара пользователя
BuriK666
Сообщения: 95
ОС: GNU/Linux Gentoo
Контактная информация:
Контактная информация пользователя BuriK666

xen падение dom0 при запуске некоторых ядер Linux в HVM

Сообщение BuriK666 »

Столкнулся с такой проблемой:
При запуске некоторых ядер в DomU вся система зависает на пару секунд, затем просто перегружается.
При этом никакие записи в логи не пишутся.
Пробовал xen-3.3.1 и 3.4.0 на 32 и 64 битных системах.

Я понимаю что нужно просто собрать нормальное ядро для DomU, но т.к. доступ к этой вирт машине будет предоставлен сторонним людям, то это не выход.

Код: Выделить всё

Linux localhost 2.6.18.8 #2 SMP Wed May 20 16:33:23 MSD 2009 x86_64 Intel(R) Core(TM)2 Quad CPU Q9550 @ 2.83GHz GenuineIntel GNU/Linux

Код: Выделить всё

host                   : localhost
release                : 2.6.18.8
version                : #2 SMP Wed May 20 16:33:23 MSD 2009
machine                : x86_64
nr_cpus                : 4
nr_nodes               : 1
cores_per_socket       : 1
threads_per_core       : 4
cpu_mhz                : 2833
hw_caps                : bfebfbff:20100800:00000000:00000140:0408e3fd:00000000:00000001:00000000
virt_caps              : hvm
total_memory           : 4095
free_memory            : 3526
node_to_cpu            : node0:0-3
node_to_memory         : node0:3526
xen_major              : 3
xen_minor              : 4
xen_extra              : .0
xen_caps               : xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32 hvm-3.0-x86_32p hvm-3.0-x86_64
xen_scheduler          : credit
xen_pagesize           : 4096
platform_params        : virt_start=0xffff800000000000
xen_changeset          : unavailable
cc_compiler            : gcc version 4.3.2 (Gentoo 4.3.2-r3 p1.6, pie-10.1.5)
cc_compile_by          : root
cc_compile_domain      :
cc_compile_date        : Wed May 20 14:39:56 MSD 2009
xend_config_format     : 4
Linux for you.
Спасибо сказали:
Вернуться к началу
Аватара пользователя
vr13
Сообщения: 876
ОС: gentoo

Re: xen падение dom0 при запуске некоторых ядер Linux в HVM

Сообщение vr13 »

BuriK666 писал(а): ↑
21.05.2009 14:57
При запуске некоторых ядер в DomU вся система зависает на пару секунд, затем просто перегружается.

встречные вопросы:
* "некоторых ядер", это каких? (pv/hv, пробрасывается ли в domU что-нить из железа?)
* domU загружается через xm create или через pv/py grub?
* ядра dom0 domU собираются из xen-sources или берется что-нить готовое?
* поднять версию xen-sources пробовали? ссылка
мне кажется что дело в версии dom0 и в железе, уж слишком оно новое для 2.6.18: даже не столько процессор, сколько чипсет
Спасибо сказали:
Вернуться к началу
Аватара пользователя
BuriK666
Сообщения: 95
ОС: GNU/Linux Gentoo
Контактная информация:
Контактная информация пользователя BuriK666

Re: xen падение dom0 при запуске некоторых ядер Linux в HVM

Сообщение BuriK666 »

* "некоторых ядер", это каких? (pv/hv, пробрасывается ли в domU что-нить из железа?)

CentOS-5.3 LiveCD и установленный работает, gentoo-install-minimal-2008.0 тоже работает,
а вот собранное мной ядро - нет
ничего из железа не перебрасывается.

* domU загружается через xm create или через pv/py grub?

xm create

* ядра dom0 domU собираются из xen-sources или берется что-нить готовое?

dom0 из xen-soures, domU - vanilla

* поднять версию xen-sources пробовали? ссылка
мне кажется что дело в версии dom0 и в железе, уж слишком оно новое для 2.6.18: даже не столько процессор, сколько чипсет

Сейчас этим и занимаюсь.
Linux for you.
Спасибо сказали:
Вернуться к началу
Аватара пользователя
vr13
Сообщения: 876
ОС: gentoo

Re: xen падение dom0 при запуске некоторых ядер Linux в HVM

Сообщение vr13 »

понятно: вы пытаетесь запустить hvm domU. проблема может быть даже не в xen, а в qemu: нужно почитать что поддерживает qemu и включать в в конфигурацию только то, что он умеет. всякие live и инсталляционные cd сделаны с учетом всего поэтому работают - ваше собственное ядерное творчество - нет. в любом случае hypervisor падать не должен, т.е имеет место ошибка xen. лучше бы включить serial console и зафайлить им bug

на всякий случай, вот две рабочие конфигурации dom0, hypervisor в обоих случаях 3.3.1 (правда, всегда 32bit, мне больше не надо) сравните со своим, может быть будет видно где собака зарыта:

1. xen-sources 2.6.21 (из нестабильной ветки). на этом работает 4 самосборных domU. все domU - паравиртуальные. одному из них дадена физическая сетевая карта. все работает достаточно интенсивно и вполне стабильно (даже после перехода на gcc 4.3.2, чего xen вроде бы не рекомендует). из hvm когда-то пробовал opensolaris x86 и winxp. ничего плохого не заметил, но мне hvm тут не нужен. dom0 не upgrade'ился по причине специфики сервера (ibm): adaptec aacraid не позволяет или мне не удалось его заставить. может быть это и не совсем aacraid (ibm его называет serveraid), но "чистое", т.е без xen, ядро работает с ним на легко на всем включая последнюю стабильную версию 2.6.28-r5 (gentoo-sources)

Код:

# cat .config|grep XEN|egrep -v '^#' CONFIG_X86_XEN=y CONFIG_XEN=y CONFIG_XEN_INTERFACE_VERSION=0x00030205 CONFIG_XEN_PRIVILEGED_GUEST=y CONFIG_XEN_PRIVCMD=y CONFIG_XEN_XENBUS_DEV=y CONFIG_XEN_BACKEND=y CONFIG_XEN_BLKDEV_BACKEND=y CONFIG_XEN_BLKDEV_TAP=y CONFIG_XEN_NETDEV_BACKEND=y CONFIG_XEN_NETDEV_LOOPBACK=y CONFIG_XEN_PCIDEV_BACKEND=y CONFIG_XEN_PCIDEV_BACKEND_VPCI=y CONFIG_XEN_TPMDEV_BACKEND=y CONFIG_XEN_DISABLE_SERIAL=y CONFIG_XEN_SYSFS=y CONFIG_XEN_COMPAT_LATEST_ONLY=y CONFIG_XEN_COMPAT=0xffffff CONFIG_XEN_SMPBOOT=y

как xen видит железку:

Код:

# xm dmesg __ __ _____ _____ _ \ \/ /___ _ __ |___ / |___ / / | \ // _ \ '_ \ |_ \ |_ \ | | / \ __/ | | | ___) | ___) || | /_/\_\___|_| |_| |____(_)____(_)_| (XEN) Xen version 3.3.1 (root@xx.ru) (gcc version 4.3.2 (Gentoo 4.3.2-r3 p1.6, pie-10.1.5) ) Tue Apr 28 22:20:04 MSD 2009 (XEN) Latest ChangeSet: unavailable (XEN) Command line: msi=1 console=vga (XEN) Video information: (XEN) VGA is text mode 80x25, font 8x16 (XEN) VBE/DDC methods: V2; EDID transfer time: 2 seconds (XEN) Disc information: (XEN) Found 2 MBR signatures (XEN) Found 2 EDD information structures (XEN) WARNING: Only the first 16 GB of the physical memory map can be accessed by Xen in 32-bit mode. (XEN) Truncating memory map to 16777216kB (XEN) Xen-e820 RAM map: (XEN) 0000000000000000 - 000000000009ac00 (usable) (XEN) 000000000009ac00 - 00000000000a0000 (reserved) (XEN) 00000000000e0000 - 0000000000100000 (reserved) (XEN) 0000000000100000 - 00000000bffcb3c0 (usable) (XEN) 00000000bffcb3c0 - 00000000bffceac0 (ACPI data) (XEN) 00000000bffceac0 - 00000000c0000000 (reserved) (XEN) 00000000e0000000 - 00000000f0000000 (reserved) (XEN) 00000000fec00000 - 0000000100000000 (reserved) (XEN) 0000000100000000 - 0000000400000000 (usable) (XEN) System RAM: 15359MB (15728020kB) (XEN) ACPI: RSDP 000FDFD0, 0024 (r2 IBM ) (XEN) ACPI: XSDT BFFCE9C0, 004C (r1 IBM SERVALNT 1000 IBM 45444F43) (XEN) ACPI: FACP BFFCE900, 0084 (r2 IBM SERVALNT 1000 IBM 45444F43) (XEN) ACPI: DSDT BFFCB3C0, 31A3 (r2 IBM SERVALNT 1000 INTL 20041203) (XEN) ACPI: FACS BFFCE5C0, 0040 (XEN) ACPI: APIC BFFCE800, 00BC (r1 IBM SERVALNT 1000 IBM 45444F43) (XEN) ACPI: SRAT BFFCE680, 0128 (r1 IBM SERVALNT 1000 IBM 45444F43) (XEN) ACPI: HPET BFFCE640, 0038 (r1 IBM SERVALNT 1000 IBM 45444F43) (XEN) ACPI: MCFG BFFCE600, 003C (r1 IBM SERVALNT 1000 IBM 45444F43) (XEN) Xen heap: 9MB (9300kB) (XEN) Domain heap initialised (XEN) Processor #0 6:15 APIC version 20 (XEN) Processor #1 6:15 APIC version 20 (XEN) Processor #2 6:15 APIC version 20 (XEN) Processor #3 6:15 APIC version 20 (XEN) Processor #4 6:15 APIC version 20 (XEN) Processor #5 6:15 APIC version 20 (XEN) Processor #6 6:15 APIC version 20 (XEN) Processor #7 6:15 APIC version 20 (XEN) IOAPIC[0]: apic_id 14, version 32, address 0xfec00000, GSI 0-23 (XEN) Enabling APIC mode: Flat. Using 1 I/O APICs (XEN) Using scheduler: SMP Credit Scheduler (credit) (XEN) Detected 2327.576 MHz processor. (XEN) HVM: VMX enabled (XEN) CPU0: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 1/1 eip 8c000 (XEN) CPU1: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 2/2 eip 8c000 (XEN) CPU2: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 3/3 eip 8c000 (XEN) CPU3: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 4/4 eip 8c000 (XEN) CPU4: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 5/5 eip 8c000 (XEN) CPU5: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 6/6 eip 8c000 (XEN) CPU6: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Booting processor 7/7 eip 8c000 (XEN) CPU7: Intel® Xeon® CPU E5345 @ 2.33GHz stepping 0b (XEN) Total of 8 processors activated. (XEN) ENABLING IO-APIC IRQs (XEN) -> Using new ACK method (XEN) checking TSC synchronization across 8 CPUs: passed. (XEN) Platform timer is 14.318MHz HPET (XEN) Brought up 8 CPUs (XEN) I/O virtualisation disabled (XEN) *** LOADING DOMAIN 0 *** (XEN) Xen kernel: 32-bit, PAE, lsb (XEN) Dom0 kernel: 32-bit, PAE, lsb, paddr 0x100000 -> 0x5e5000 (XEN) PHYSICAL MEMORY ARRANGEMENT: (XEN) Dom0 alloc.: 000000003c000000->000000003e000000 (3859403 pages to be allocated) (XEN) VIRTUAL MEMORY ARRANGEMENT: (XEN) Loaded kernel: c0100000->c05e5000 (XEN) Init. ramdisk: c05e5000->c05e5000 (XEN) Phys-Mach map: c05e5000->c14a5f2c (XEN) Start info: c14a6000->c14a6474 (XEN) Page tables: c14a7000->c14b8000 (XEN) Boot stack: c14b8000->c14b9000 (XEN) TOTAL: c0000000->c1800000 (XEN) ENTRY ADDRESS: c0100000 (XEN) Dom0 has maximum 8 VCPUs (XEN) Scrubbing Free RAM: .done. (XEN) Xen trace buffers: disabled (XEN) Std. Loglevel: Errors and warnings (XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings) (XEN) Xen is relinquishing VGA console. (XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen) (XEN) Freed 100kB init memory.


а это конфигурация ноутбука. патченый xen-source до 2.6.25 (дальше не патчил, т.к все устраивает: upgrade делался для встроенной поддержки ноутбучных кишок типа wifi, pcmcia итд). работает один hvm winxp (с паравиртуальными драйверами). экспериментально пробовал паравиртуальный domU, но просто убедился что работает: ноутбук же :)

Код:

# cat .config|grep XEN|egrep -v '^#' CONFIG_X86_XEN=y CONFIG_XEN=y CONFIG_XEN_INTERFACE_VERSION=0x00030207 CONFIG_XEN_PRIVILEGED_GUEST=y CONFIG_XEN_PRIVCMD=y CONFIG_XEN_XENBUS_DEV=y CONFIG_XEN_NETDEV_ACCEL_SFC_UTIL=m CONFIG_XEN_BACKEND=y CONFIG_XEN_BLKDEV_BACKEND=y CONFIG_XEN_BLKDEV_TAP=y CONFIG_XEN_NETDEV_BACKEND=y CONFIG_XEN_PCIDEV_BACKEND=y CONFIG_XEN_PCIDEV_BACKEND_VPCI=y CONFIG_XEN_GRANT_DEV=y CONFIG_XEN_FRAMEBUFFER=y CONFIG_XEN_KEYBOARD=y CONFIG_XEN_CONSOLE=y CONFIG_XEN_DISABLE_SERIAL=y CONFIG_XEN_SYSFS=y CONFIG_XEN_COMPAT_LATEST_ONLY=y CONFIG_XEN_COMPAT=0xffffff CONFIG_XEN_SMPBOOT=y CONFIG_XEN_BALLOON=y CONFIG_XEN_DEVMEM=y


ну и dmesg

Код:

# xm dmesg __ __ _____ _____ _ \ \/ /___ _ __ |___ / |___ / / | \ // _ \ '_ \ |_ \ |_ \ | | / \ __/ | | | ___) | ___) || | /_/\_\___|_| |_| |____(_)____(_)_| (XEN) Xen version 3.3.1 (root@local) (gcc version 4.3.2 (Gentoo 4.3.2-r3 p1.6, pie-10.1.5) ) Tue Apr 28 14:56:19 MSD 2009 (XEN) Latest ChangeSet: unavailable (XEN) Command line: console=vga xencons=off vga=mode-0x0318,keep (XEN) Video information: (XEN) VGA is graphics mode 1024x768, 32 bpp (XEN) VBE/DDC methods: none; EDID transfer time: 0 seconds (XEN) EDID info not retrieved because no DDC retrieval method detected (XEN) Disc information: (XEN) Found 1 MBR signatures (XEN) Found 1 EDD information structures (XEN) Xen-e820 RAM map: (XEN) 0000000000000000 - 000000000009fc00 (usable) (XEN) 000000000009fc00 - 00000000000a0000 (reserved) (XEN) 00000000000e0000 - 0000000000100000 (reserved) (XEN) 0000000000100000 - 000000007ffd0000 (usable) (XEN) 000000007ffd0000 - 000000007ffe5600 (reserved) (XEN) 000000007ffe5600 - 000000007fff8000 (ACPI NVS) (XEN) 000000007fff8000 - 0000000080000000 (reserved) (XEN) 00000000fec00000 - 00000000fec01000 (reserved) (XEN) 00000000fed20000 - 00000000fed9b000 (reserved) (XEN) 00000000feda0000 - 00000000fedc0000 (reserved) (XEN) 00000000fee00000 - 00000000fee01000 (reserved) (XEN) 00000000ffb00000 - 00000000ffc00000 (reserved) (XEN) 00000000fff00000 - 0000000100000000 (reserved) (XEN) System RAM: 2047MB (2096572kB) (XEN) ACPI: RSDP 000F78E0, 0024 (r2 HP ) (XEN) ACPI: XSDT 7FFE57C8, 007C (r1 HPQOEM SLIC-MPC 1 HP 1) (XEN) ACPI: FACP 7FFE5684, 00F4 (r4 HP 309F 3 HP 1) (XEN) ACPI: DSDT 7FFE5ACC, 10A75 (r1 HP nc9700 10000 MSFT 100000E) (XEN) ACPI: FACS 7FFF7E80, 0040 (XEN) ACPI: SLIC 7FFE5844, 0176 (r1 HPQOEM SLIC-MPC 1 HP 1) (XEN) ACPI: HPET 7FFE59BC, 0038 (r1 HP 309F 1 HP 1) (XEN) ACPI: APIC 7FFE59F4, 0068 (r1 HP 309F 1 HP 1) (XEN) ACPI: MCFG 7FFE5A5C, 003C (r1 HP 309F 1 HP 1) (XEN) ACPI: TCPA 7FFE5A98, 0032 (r2 HP 309F 1 HP 1) (XEN) ACPI: SSDT 7FFF6541, 0059 (r1 HP HPQNLP 1 MSFT 100000E) (XEN) ACPI: SSDT 7FFF659A, 0326 (r1 HP HPQSAT 1 MSFT 100000E) (XEN) ACPI: SSDT 7FFF7157, 025F (r1 HP Cpu0Tst 3000 INTL 20060317) (XEN) ACPI: SSDT 7FFF73B6, 00A6 (r1 HP Cpu1Tst 3000 INTL 20060317) (XEN) ACPI: SSDT 7FFF745C, 04D7 (r1 HP CpuPm 3000 INTL 20060317) (XEN) Xen heap: 9MB (9752kB) (XEN) Domain heap initialised (XEN) Processor #0 6:15 APIC version 20 (XEN) Processor #1 6:15 APIC version 20 (XEN) IOAPIC[0]: apic_id 1, version 32, address 0xfec00000, GSI 0-23 (XEN) Enabling APIC mode: Flat. Using 1 I/O APICs (XEN) Using scheduler: SMP Credit Scheduler (credit) (XEN) Detected 2327.615 MHz processor. (XEN) HVM: VMX enabled (XEN) CPU0: Intel® Core™2 CPU T7600 @ 2.33GHz stepping 06 (XEN) Booting processor 1/1 eip 8c000 (XEN) CPU1: Intel® Core™2 CPU T7600 @ 2.33GHz stepping 06 (XEN) Total of 2 processors activated. (XEN) ENABLING IO-APIC IRQs (XEN) -> Using new ACK method (XEN) checking TSC synchronization across 2 CPUs: passed. (XEN) Platform timer is 14.318MHz HPET (XEN) Brought up 2 CPUs (XEN) I/O virtualisation disabled (XEN) HP Compaq Laptop series board detected. Selecting BIOS-method for reboots. (XEN) *** LOADING DOMAIN 0 *** (XEN) Xen kernel: 32-bit, PAE, lsb (XEN) Dom0 kernel: 32-bit, PAE, lsb, paddr 0x100000 -> 0x525000 (XEN) PHYSICAL MEMORY ARRANGEMENT: (XEN) Dom0 alloc.: 000000003f000000->000000003f800000 (483187 pages to be allocated) (XEN) VIRTUAL MEMORY ARRANGEMENT: (XEN) Loaded kernel: c0100000->c0525000 (XEN) Init. ramdisk: c0525000->c0525000 (XEN) Phys-Mach map: c0525000->c06fedcc (XEN) Start info: c06ff000->c06ff474 (XEN) Page tables: c0700000->c0709000 (XEN) Boot stack: c0709000->c070a000 (XEN) TOTAL: c0000000->c0800000 (XEN) ENTRY ADDRESS: c0100000 (XEN) Dom0 has maximum 2 VCPUs (XEN) Scrubbing Free RAM: .done. (XEN) Xen trace buffers: disabled (XEN) Std. Loglevel: Errors and warnings (XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings) (XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen) (XEN) Freed 100kB init memory. (XEN) ioapic_guest_write: apic=0, pin=23, old_irq=-1, new_irq=-1 (XEN) ioapic_guest_write: old_entry=00010204, new_entry=000109a0 (XEN) ioapic_guest_write: Special delivery mode 2 with non-zero vector 04 (XEN) traps.c:2171:d0 Domain attempted WRMSR 0000019a from 00000000:00000002 to 00000000:00000000. (XEN) traps.c:2171:d0 Domain attempted WRMSR 0000019a from 00000000:00000002 to 00000000:00000000. (XEN) ioapic_guest_write: apic=0, pin=20, old_irq=-1, new_irq=-1 (XEN) ioapic_guest_write: old_entry=00010204, new_entry=0001a9d0 (XEN) ioapic_guest_write: Special delivery mode 2 with non-zero vector 04 (XEN) ioapic_guest_write: apic=0, pin=22, old_irq=-1, new_irq=-1 (XEN) ioapic_guest_write: old_entry=00010204, new_entry=0001a9d8 (XEN) ioapic_guest_write: Special delivery mode 2 with non-zero vector 04


личное мнение про xen, неоспоримый плюс - это паравиртуальные domU. для hvm vmware, скорее всего, будет лучшим решением
Спасибо сказали:
Вернуться к началу
Аватара пользователя
BuriK666
Сообщения: 95
ОС: GNU/Linux Gentoo
Контактная информация:
Контактная информация пользователя BuriK666

Re: xen падение dom0 при запуске некоторых ядер Linux в HVM

Сообщение BuriK666 »

попробовал ядро 2.6.30 (из git разработчиков) - вирт машины запустить не удалось
попробовал 2.6.29 (http://code.google.com/p/gentoo-xen-kernel/downloads/list) проблема сохранилась

Мне бы добиться чтоб хост система не падала
Linux for you.
Спасибо сказали:
Вернуться к началу
Ответить

Вернуться в «Администрирование»