Подвисание xen

[sinka]

Добрый день! Я новичок в linux и всем что с ним связано. Последнее время у нас проблема с виртуальными серверами - каждое утро с 6.10 до 6.30 они отключаются. Приходится по приходу на работу вручную запускать Xen. Очень хочется разобраться с причиной.
Напишу свои действия, если я была не права и шла не в том направлении - скажите об этом,пжл.
В журнале сообщений messages я нашла проблемное место, самая первая строчка

Jun 20 06:11:56 linux-gjkq kernel: [78226.129248] Xorg invoked oom-killer: gfp_mask=0x200d4, order=0, oom_adj=0

Практически в это время и начинается падение виртуальных серверов

[2012-06-20 06:11:56 3455] WARNING (image:562) domain podpiska: device model failure: pid 3593: malfunctioning (closed sentinel), killed; see /var/log/xen/qemu-dm-podpiska.log
[2012-06-20 06:11:56 3455] WARNING (XendDomainInfo:2108) Domain has crashed: name=podpiska id=1.
[2012-06-20 06:11:56 3455] DEBUG (XendDomainInfo:3121) XendDomainInfo.destroy: domid=1
[2012-06-20 06:11:56 3455] WARNING (image:562) domain Server_Lotus: device model failure: pid 3815: malfunctioning (closed sentinel), killed; see /var/log/xen/qemu-dm-Server_Lotus.log
[2012-06-20 06:11:56 3455] DEBUG (XendDomainInfo:1840) Storing domain details: {'console/port': '3', 'description': 'None', 'console/limit': '1048576', 'store/port': '2', 'vm': '/vm/5754800c-4ad4-01ad-2be3-6c4c2dea0e1a', 'domid': '1', 'image/suspend-cancel': '1', 'cpu/0/availability': 'online', 'memory/target': '1048576', 'control/platform-feature-multiprocessor-suspend': '1', 'store/ring-ref': '1044476', 'console/type': 'ioemu', 'name': 'podpiska'}
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:2452) Destroying device model
[2012-06-20 06:11:57 3455] WARNING (XendDomainInfo:2108) Domain has crashed: name=Server_Lotus id=2.
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:3121) XendDomainInfo.destroy: domid=2
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:2459) Releasing devices
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:2465) Removing vif/0
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vif, device = vif/0
[2012-06-20 06:11:57 3455] WARNING (XendDomainInfo:2108) Domain has crashed: name=Server_Lotus id=2.
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:2465) Removing console/0
[2012-06-20 06:11:57 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = console, device = console/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vbd/768
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vbd, device = vbd/768
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2452) Destroying device model
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vbd/832
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vbd, device = vbd/832
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vfb/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vfb, device = vfb/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2459) Releasing devices
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vif/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vif, device = vif/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vkbd/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vkbd, device = vkbd/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing console/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = console, device = console/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vbd/768
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vbd, device = vbd/768
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vbd/832
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vbd, device = vbd/832
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:2465) Removing vfb/0
[2012-06-20 06:11:58 3455] DEBUG (XendDomainInfo:1294) XendDomainInfo.destroyDevice: deviceClass = vfb, device = vfb/0
[2012-06-20 06:17:17 3455] WARNING (image:562) domain Informix_dir: device model failure: pid 3995: died due to signal 9; see /var/log/xen/qemu-dm-Informix_dir.log
[2012-06-20 06:17:17 3455] WARNING (XendDomainInfo:2108) Domain has crashed: name=Informix_dir id=3.
[2012-06-20 06:17:17 3455] DEBUG (XendDomainInfo:3121) XendDomainInfo.destroy: domid=3
[2012-06-20 06:17:17 3450] CRITICAL (SrvDaemon:232) Xend died due to signal 9! Restarting it.
[2012-06-20 06:17:17 17934] INFO (SrvDaemon:332) Xend Daemon started
[2012-06-20 06:17:17 3450] CRITICAL (SrvDaemon:232) Xend died due to signal 9! Restarting it.
[2012-06-20 06:17:17 3450] CRITICAL (SrvDaemon:232) Xend died due to signal 9! Restarting it.

Перед этим я запустила скрит с "фотографией" top

Значения top на время 6.11 в файле top_log.txt

Да,я вижу, что процессы 3593,3815 кушают много памяти, и oom-killer их судя по всему и прибивает.
Что мне нужно делать, чтобы никто никого не прибивал (в том числе и меня мои пользователи)? Каждое утро начинается с перезагрузки...

[SLEDopit]

sinka
было бы здорово посмотреть на логи /var/log/xen/qemu-dm-podpiska.log , /var/log/xen/qemu-dm-Server_Lotus.log
Я правильно понимаю, что домены у вас в HVM режиме работают? И конфиги доменов заодно покажите.

[sinka]

sinka
было бы здорово посмотреть на логи /var/log/xen/qemu-dm-podpiska.log , /var/log/xen/qemu-dm-Server_Lotus.log
Я правильно понимаю, что домены у вас в HVM режиме работают? И конфиги доменов заодно покажите.

логи прикрепляю (dm-podpiska я вечером выключила-пытаюсь уже методом исключений найти ошибку...). А по поводу доменов и конфигов не поняла... объясните,пжл
если я правильно посмотрела в sys/hypervisor, то действительно работаем в режиме HVM

xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32 hvm-3.0-x86_32p hvm-3.0-x86_64

где посмотреть конфиги доменов?

[SLEDopit]

логи прикрепляю

Ну это и я поторопился и вы не сообразили. Логи нужны, которые были на момент падения. В тот момент они были доступны именно по вышеуказанным путям. После повторного запуска они ротировались и стали носить имя /var/log/xen/qemu-dm-podpiska.log.1 .
Причём с каждым последующим запуском номер сдвигается. Поэтому я сейчас не могу сказать, какой именно лог нужен. Попробуйте определить какой именно лог относится к моменту падения и приложите его сюда. По прикреплённому логу ничего сказать не получится.

А по поводу доменов и конфигов не поняла

Скорее всего они находятся в /etc/xen/podpiska.cfg и /etc/xen/Server_Lotus.cfg или что-то похожее. По крайней мере они должны находится в /etc/xen.
зы. А что за системы то? Судя по версии xen'а, что-то довольно старенькое.

если я правильно посмотрела в sys/hypervisor, то действительно работаем в режиме HVM

Не там смотрите. Это прописывается для каждой виртуальной машины в её конфиге. Каждый машина работает либо в hvm режиме (в двух словах - режим, где эмулируется всё), либо в паравиртуальном режиме (где эмулируется только часть железок). Если в виртуалках у вас системы от компании Microsoft, то режим точно HVM, если нет - возможны варианты. Хотя, судя по логам qemu-..., режим HVM, потому что, емнип, в паравиртуальном режиме qemu-... логи не используются.

[vr13]

Jun 20 06:11:56 linux-gjkq kernel: [78226.129248] Xorg invoked oom-killer: gfp_mask=0x200d4, order=0, oom_adj=0

по-моему, очевидно, что dom0 не хватает памяти и oom killer начинает убивать то, что ему кажется наименее важным, а под это подпадают qemu (то, что управляет ресурсами гостевых доменов). инициатором вызова является xorg и скорее всего, это ему нужна память. кстати, qemu-dm, памяти dom0 потребляют немного - в основном - процессор: qemu эмулирует сетевые устройства и контроллеры дисков гостевых доменов

вывод тоже очевидный - убрать все прикладное, в т.ч графику с dom0: в промышленных системах управляющий домен в xen не должен выполнять прикладной нагрузки или иными словами - все в системе работает на то, чтобы "хорошо жилось" гостевым доменам. еще для промышленных систем рекомендуется отключить memory ballooning dom0 (см конфигурацию xend): лучше - выделять фиксированное (небольшое) количество памяти, например 2гб которые постоянно будут доступны dom0 и которые никто у него не отнимет

можно, конечно попытаться поменять правила oom killer (добавить свопа, включить memory overcommit, никогда не убивать qemu итп), но это не решит проблемы: либо все уйдет в своп и придется не перезапускать домены, а действительно перегружаться, либо, что еще хуже -- oom killer прибьет что-нить действительно критичное, например компоненты hal или что-нить из работающего kde, и вы останетесь с графикой, но без клавиатуры

[sinka]

Сегодня утром летела на работу,чтобы успеть поймать логи с ошибками (ибо на 7.10 стоял скрипт на загрузку xen), и была расстроена - все гостевые домены пингуются и xen - живой (певый раз за последний месяц) ! Логи, которые ротировались, они все нормальные - там ведь все сохранялось уже после запуска xen, я действительно не додумалась их сохранять до запуска xen Теперь я запуталась еще больше... Я думала,что проблема у меня с xen, но теперь есть подозрения, что падение xen - результат запуска какой-то задачи на линуксе?...Памяти свободной еще меньше,чем предыдущие дни - но все живы...

top - 06:47:02 up 1 day, 22:18, 4 users, load average: 0.06, 0.12, 0.05
Tasks: 203 total, 1 running, 202 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.1%us, 0.4%sy, 0.0%ni, 99.0%id, 0.4%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 9957M total, 9927M used, 29M free, 147M buffers
Swap: 2053M total, 0M used, 2053M free, 5451M cached

Логи с конфигами гостевых доменов прикрепляю.
Отличия вчерашнего дня от всех предыдущих: 1. Обычно после падения xen, я полностью перегружала сервер, а вчера просто подняла xen через команду xend start. 2. Отключила два гостевых домена (podpiska и informix), но я и раньше отключала podpiska - падения продолжались. 3. На гостевом домене Lotus отключила сетевой диск.
Всегда когда падал xen и я утром подключалась через vnc к серверу, была ошибка на dbus и polkit. А вчера (когда сервер полностью не перегружала), эта ошибка появлялась несколько раз на протяжении дня...

[SLEDopit]

disk=[ 'file:/var/lib/xen/images/server2/disk1,hda,w', 'file:/var/lib/xen/images/server2/disk2,hdb,w', ]

Гораздо эффективнее использовать не файлы-образы, а lvm разделы: во-первых, lvm-тома гораздо производительнее, во-вторых, их проще бэкапить, ну и в-третьих, ими гораздо проще манипулировать.

Попробуйте прикрутить какую-нибудь систему мониторинга (типа munin, она прикручивается буквально в 3-4 команды). Возможно, она поможет прояснить картину, да и в целом везьма полезная штука. Заодно можете на время поиска проблемы, написать мини-скрипт, который раз в минуту/несколько минут будет логировать самый прожорливые по части памяти процессы. Возможно, это так же поможет выявить виновника.

[sinka]

disk=[ 'file:/var/lib/xen/images/server2/disk1,hda,w', 'file:/var/lib/xen/images/server2/disk2,hdb,w', ]

Гораздо эффективнее использовать не файлы-образы, а lvm разделы: во-первых, lvm-тома гораздо производительнее, во-вторых, их проще бэкапить, ну и в-третьих, ими гораздо проще манипулировать.

Попробуйте прикрутить какую-нибудь систему мониторинга (типа munin, она прикручивается буквально в 3-4 команды). Возможно, она поможет прояснить картину, да и в целом везьма полезная штука. Заодно можете на время поиска проблемы, написать мини-скрипт, который раз в минуту/несколько минут будет логировать самый прожорливые по части памяти процессы. Возможно, это так же поможет выявить виновника.

Работаем с образами, потому что их нам дала вышестоящая структура, а сейчас, к сожалению, никто не рвется помочь разобраться - типа пусть ваш админ разбирается..(админа у нас уже 5 лет нет). Поскольку приложения,которые я сопровождаю, крутятся на гостевых доменах - это автоматически стало моей проблемой. На работе три раза проводили курсы по линуксу, на которых каждый раз рассказывали только про создание пустых файлов, как копировать файлы, давать права и т.п., сказали, что большего нам знать не надо... Но это отступление от темы...Постараюсь найти минутку, чтобы поставить что-то для мониторинга и буду пытаться поймать-таки лог с ошибками.

[Bluetooth]

если lvm уже есть, то сконвертировать несложно.

К проблеме, описанной в первом посте - согласен с vr13, похоже на проблемы из-за того, что в dom0 кончается память. Избежать этого можно, во-первых, отключив графику. просто дайте команду /etc/init.d/kdm stop, графика и остановится. И понаблюдайте пару дней. Если проблемы прекратятся - значит проблема в графике была. нет - значит роем дальше.

[sinka]

Вчера (для интереса и метода исключений вчерашних трех пунктов различий) перегрузила полностью сервер. Сегодня утром повторилась ежедневная ситуация с падением Xen. Таки отключение двух гостевых серверов и сетевого диска не было причиной благополучной двухдневной работы сервера.Значит падение xen - это следствие прожорливого процесса, который буду продолжать ловить,но уже с понедельника. Пока не перезапустила xen, забрала логи при падении. Меня постоянно мучает вопрос: почему это все происходит рано утром почти в одно и тоже время? До 23 мая все работало благополучно практически, такие ситуации были редким случаем...Не могло ли какое-то обновление системы мне сделать такой "подарок"? Сейчас я автоматическое обновление отключила...С понедельника попробую выключить графику, и посмотрите, пжл, правильно ли я прописала выделенную память для dom0

[vr13]

и посмотрите, пжл, правильно ли я прописала выделенную память для dom0

а где смотреть? это делается в двух местах
1. grub: boot ядра:

Код: Выделить всё

  kernel /boot/xen-64.gz console=vga dom0_mem=max:384M dom0_max_vcpus=2

2. конфигурация xend (обычно /etc/xen/xend-config.sxp)

Код: Выделить всё

$ grep dom0 /etc/xen/xend-config.sxp |grep -v '^#'
(dom0-min-mem 384)
(enable-dom0-ballooning no)
(dom0-cpus 2)

в параметре grub dom0_mem лексема 'max:' появилась относительно недавно, в 4.1.2 кажется. для ранних версий - не нужно

и еще, про убиение процессов из-за нехватки памяти. вот, что есть в вашем журнале:
grep -i 'killed process' Desktop/messages22062012.txt

Код: Выделить всё

Jun 22 05:46:57 linux-gjkq kernel: [78721.490151] Killed process 3018 (hald-runner) vsz:22272kB, anon-rss:224kB, file-rss:1064kB
Jun 22 05:46:57 linux-gjkq kernel: [78721.534705] Killed process 3930 (qemu-dm) vsz:1991004kB, anon-rss:2352kB, file-rss:1904kB
Jun 22 05:46:57 linux-gjkq kernel: [78721.596458] Killed process 2864 (avahi-daemon) vsz:29832kB, anon-rss:296kB, file-rss:1356kB
Jun 22 05:46:57 linux-gjkq kernel: [78721.663021] Killed process 1442 (dbus-daemon) vsz:23740kB, anon-rss:648kB, file-rss:664kB
Jun 22 05:46:57 linux-gjkq kernel: [78721.726812] Killed process 1780 (kdm_greet) vsz:332552kB, anon-rss:22108kB, file-rss:16700kB
Jun 22 05:46:57 linux-gjkq kernel: [78721.793913] Killed process 3290 (hald-addon-acpi) vsz:17780kB, anon-rss:152kB, file-rss:620kB
Jun 22 05:46:58 linux-gjkq kernel: [78721.855196] Killed process 4110 (qemu-dm) vsz:1055960kB, anon-rss:2264kB, file-rss:1756kB
Jun 22 05:46:58 linux-gjkq kernel: [78721.903370] Killed process 3465 (xend) vsz:295396kB, anon-rss:32964kB, file-rss:1996kB
Jun 22 05:46:58 linux-gjkq kernel: [78721.947388] Killed process 2902 (ksysguardd) vsz:11128kB, anon-rss:596kB, file-rss:544kB

среди прочего несомненно полезного, убиты ваши два домена (qemu-dm) и управляющий процесс xend
графический драйвер xorg при этом ругался:

Код: Выделить всё

Jun 22 05:46:57 linux-gjkq kernel: [78721.431491] Xorg invoked oom-killer: gfp_mask=0x200d4, order=0, oom_adj=0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431497] Xorg cpuset=/ mems_allowed=0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431502] Pid: 1547, comm: Xorg Not tainted 2.6.34.10-0.6-xen #1
Jun 22 05:46:57 linux-gjkq kernel: [78721.431504] Call Trace:
Jun 22 05:46:57 linux-gjkq kernel: [78721.431525]  [<ffffffff80009646>] dump_trace+0x76/0x1a0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431534]  [<ffffffff8040c426>] dump_stack+0x69/0x6f
Jun 22 05:46:57 linux-gjkq kernel: [78721.431543]  [<ffffffff800d09b0>] dump_header+0x90/0xf0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431549]  [<ffffffff800d0aa1>] oom_kill_process+0x91/0x190
Jun 22 05:46:57 linux-gjkq kernel: [78721.431554]  [<ffffffff800d0fd1>] __out_of_memory+0x41/0xb0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431559]  [<ffffffff800d1382>] out_of_memory+0x62/0xe0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431565]  [<ffffffff800d43ff>] __alloc_pages_nodemask+0x61f/0x630
Jun 22 05:46:57 linux-gjkq kernel: [78721.431588]  [<ffffffffa01cf049>] __ttm_tt_get_page+0xb9/0x180 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431601]  [<ffffffffa01cf4d8>] ttm_tt_populate+0x48/0x90 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431610]  [<ffffffffa01cf8e6>] ttm_tt_bind+0x56/0xa0 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431619]  [<ffffffffa01d0b79>] ttm_bo_handle_move_mem+0x1d9/0x3f0 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431630]  [<ffffffffa01d2df2>] ttm_bo_move_buffer+0x162/0x180 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431642]  [<ffffffffa01d2e9a>] ttm_bo_validate+0x8a/0x120 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431652]  [<ffffffffa01d31ad>] ttm_bo_init+0x1ad/0x230 [ttm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431680]  [<ffffffffa0218e81>] radeon_bo_create+0x141/0x2a0 [radeon]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431725]  [<ffffffffa022dabc>] radeon_gem_object_create+0x8c/0x110 [radeon]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431778]  [<ffffffffa022df3f>] radeon_gem_create_ioctl+0x4f/0xe0 [radeon]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431825]  [<ffffffffa0176c2c>] drm_ioctl+0x3bc/0x480 [drm]
Jun 22 05:46:57 linux-gjkq kernel: [78721.431836]  [<ffffffff80123509>] vfs_ioctl+0x39/0xc0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431842]  [<ffffffff80123aa0>] do_vfs_ioctl+0x70/0x3f0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431847]  [<ffffffff80123ea0>] sys_ioctl+0x80/0xa0
Jun 22 05:46:57 linux-gjkq kernel: [78721.431853]  [<ffffffff80007438>] system_call_fastpath+0x16/0x1b

[sinka]

и посмотрите, пжл, правильно ли я прописала выделенную память для dom0

а где смотреть?

файл menu_lst.txt
dom0-min-mem 384 у меня в конфиге стоит 512, я оставляю? (файл xend_config.txt)

[vr13]

оставляйте столько, сколько надо. dom0_ballooning - no

идея этого простая: когда xen выделяет гостевому домену память, он берет ее из своего пула (см xm info) и из памяти dom0. это вызывает некоторые дополнительные расходы, и вероятно, способствует тому, что вы получаете по утрам

в рабочих системах принято ограничивать размер памяти управляющего домена при загрузке (параметр grub xen dom0_mem). запрет ballooning в xend-config выключает механизм выделения памяти доменам из свободной памяти dom0

[sinka]

Сегодня началось утро с экспериментов и небольшого стресса установила вgrub xen dom0_mem=2048, в результате после перезагрузки не могла загрузиться - постоянно шло reboot. Установка dom0_ballooning в no дает ошибку про нехватку памяти для запуска гостевых доменов.Что я не правильно сделала? Возможно не правильно расчитала значение для памяти...Стресс-это не сильно хорошо, но теперь я четко усвоила на что влияет каждое из этих двух значений, которые изменила Графику уже завтра попробую отключить

[vr13]

покажите что выводят команды:

Код: Выделить всё

xm dmesg
xm info

посмотрим, что у вас за система и как сконфигурировано

[sinka]

покажите что выводят команды:

Код: Выделить всё

xm dmesg
xm info

посмотрим, что у вас за система и как сконфигурировано

Прикрепляю два файла

[Bluetooth]

Сегодня началось утро с экспериментов и небольшого стресса установила вgrub xen dom0_mem=2048, в результате после перезагрузки не могла загрузиться - постоянно шло reboot. Установка dom0_ballooning в no дает ошибку про нехватку памяти для запуска гостевых доменов.Что я не правильно сделала? Возможно не правильно расчитала значение для памяти...Стресс-это не сильно хорошо, но теперь я четко усвоила на что влияет каждое из этих двух значений, которые изменила Графику уже завтра попробую отключить

Не запускается ни один из гостевых доменов?
Когда ребуты постоянные были, успевали ли что-нибудь прочитать?

Прикрепляю два файла

Удобнее это делать прямо в сообщение, пихая в тег [code]

А какой дистрибутив?

[SLEDopit]

А какой дистрибутив?

Судя по скринам - opensuse. А судя по версии ядра (2.6.34.10-0.6-xen) из messages - версия 11.3.

[sinka]

Когда ребуты постоянные были, успевали ли что-нибудь прочитать?

не успела прочитать - не ожидала такого эффекта и не сразу сообразила,что вообще произошло (а пользователи уже за горло держали)...Через ilo вижу сервер включен, а не пингуется, пришлось бежать в другое здание непосредственно к серверу и там увидела,что он доходит до загрузки xen и постоянно перегружается...
гостевые домены стоят на автомат.загрузку - не загрузился ни один из четырех. При попытке запуска вручную - писалось про недостаток памяти
Дистрибутив, правильно написал SLEDopit - opensuse

[sinka]

К проблеме, описанной в первом посте - согласен с vr13, похоже на проблемы из-за того, что в dom0 кончается память. Избежать этого можно, во-первых, отключив графику. просто дайте команду /etc/init.d/kdm stop, графика и остановится. И понаблюдайте пару дней. Если проблемы прекратятся - значит проблема в графике была. нет - значит роем дальше.

пробовала выполнить - ошибка на не существующий файл или каталог...

[Bluetooth]

К проблеме, описанной в первом посте - согласен с vr13, похоже на проблемы из-за того, что в dom0 кончается память. Избежать этого можно, во-первых, отключив графику. просто дайте команду /etc/init.d/kdm stop, графика и остановится. И понаблюдайте пару дней. Если проблемы прекратятся - значит проблема в графике была. нет - значит роем дальше.

пробовала выполнить - ошибка на не существующий файл или каталог...

Ну, вроде как можно еще сказать telinit 3.
А можно показать /etc/init.d - там, видимо. по-другому init скрипт называется.

не успела прочитать - не ожидала такого эффекта и не сразу сообразила,что вообще произошло (а пользователи уже за горло держали)...Через ilo вижу сервер включен, а не пингуется, пришлось бежать в другое здание непосредственно к серверу и там увидела,что он доходит до загрузки xen и постоянно перегружается...
гостевые домены стоят на автомат.загрузку - не загрузился ни один из четырех. При попытке запуска вручную - писалось про недостаток памяти

Странно. Ну, покажу, что у меня там в дебиане:
в конфиге xend про память эти строчки:
(dom0-min-mem 768)

(enable-dom0-ballooning no)

В /etc/default/grub:
GRUB_CMDLINE_XEN_DEFAULT="dom0_mem=768M"

Собсно, пункт выглядит так:

Код: Выделить всё

menuentry 'Debian GNU/Linux, with Linux 2.6.32-5-xen-amd64 and XEN 4.0-amd64' --class debian --class gnu-linux --class gnu --class os --class xen {
    insmod raid
    insmod mdraid
    insmod part_msdos
    insmod part_msdos
    insmod ext2
    set root='(md0)'
    search --no-floppy --fs-uuid --set ec2ea7c1-1c2a-4578-b154-6a629c3b1c9f
    echo    'Loading Linux 2.6.32-5-xen-amd64 ...'
    multiboot    /xen-4.0-amd64.gz placeholder  dom0_mem=768M
    module    /vmlinuz-2.6.32-5-xen-amd64 placeholder root=/dev/mapper/node1-root ro  quiet
    echo    'Loading initial ramdisk ...'
    module    /initrd.img-2.6.32-5-xen-amd64
}

[sinka]

пока не сделала очередную попытку,вопрос: значение для dom0_mem не зависит от размера памяти, которая задается для гостевых доменов? у меня получается,что для двух доменов задается по 2 Гб, а для других двух - по 1Гб.

[vr13]

Сегодня началось утро с экспериментов и небольшого стресса установила вgrub xen dom0_mem=2048, в результате после перезагрузки не могла загрузиться - постоянно шло reboot. Установка dom0_ballooning в no дает ошибку про нехватку памяти для запуска гостевых доменов.Что я не правильно сделала? Возможно не правильно расчитала значение для памяти...Стресс-это не сильно хорошо, но теперь я четко усвоила на что влияет каждое из этих двух значений, которые изменила Графику уже завтра попробую отключить

знание - безусловно сила -- прошу прощения, что заставил бегать

что происходит на самом деле: "железка" обладает всеми необходимыми для виртуализации свойствами, и 16ю гб памяти:

Код: Выделить всё

xm dmesg
...
(XEN) System RAM: 16373MB (16766776kB)
...
(XEN) VMX: Supported advanced features:
...
(XEN) I/O virtualisation enabled

dom0, работающий под управлением xen, отъедает всю память (balooning, надо полагать, выключен и роли не играет. см. ниже):

Код: Выделить всё

xm info
...
total_memory           : 16373
free_memory            : 5
free_cpus              : 0
max_free_memory        : 9450
max_para_memory        : 9446
max_hvm_memory         : 9415
...

последние 3 строчки в приведенном листинге - некие фантазии suse, отличные от обычного xen, что они обозначают - я не знаю, но очевидно, что все сказанное про balooning и назначения dom0 фиксированного объема памяти - к диалекту xen в suse не относится, поэтому вам остается думать, как освобождать память в текущей конфигурации. ну, или менять suse на что-нить другое, с "кошерным" xen. мне кажется, что просто так xen поменять не удастся, suse скорее всего и ядро dom0 "допилила" в контексте секционирования памяти под нужды доменов разного типа. наиболее верный путь - искать опытную публику по сопровождению в xen в suse для объяснения что все это значит и можно ли как-то изменить

судя по конфигурации доменов, памяти должно хватить:

• Server Lotus (hvm) - 2048
• Informix_dir (pv) - 2048
• podpiska (hvm) - 1024

итого - 5гб и примерно 5 в запасе, остальное (тоже примерно 5гб) остается dom0

на всякий случай, покажу, как у меня выглядит xm info - ничего такого там нет (xen и ядро - обычные, так сказать "ванильные"):

Код: Выделить всё

host                   : pacman
release                : 3.2.12-gentoo-xen
version                : #4 SMP Mon May 7 23:46:38 MSK 2012
machine                : x86_64
nr_cpus                : 8
nr_nodes               : 1
cores_per_socket       : 4
threads_per_core       : 2
cpu_mhz                : 3869
hw_caps                : bfebfbff:28100800:00000000:00003b40:0098e3bd:00000000:00000001:00000000
virt_caps              : hvm hvm_directio
total_memory           : 24565
free_memory            : 2628
free_cpus              : 0
xen_major              : 4
xen_minor              : 1
xen_extra              : .2
xen_caps               : xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32 hvm-3.0-x86_32p hvm-3.0-x86_64
xen_scheduler          : credit
xen_pagesize           : 4096
platform_params        : virt_start=0xffff800000000000
xen_changeset          : unavailable
xen_commandline        : console=vga xencons=off vga=mode-0x031a,keep dom0_mem=max:384M dom0_max_vcpus=2
cc_compiler            : gcc version 4.5.3 (Gentoo 4.5.3-r2 p1.2, pie-0.4.7)
cc_compile_by          :
cc_compile_domain      : local
cc_compile_date        : Mon May  7 22:44:57 MSK 2012
xend_config_format     : 4

и как выглядят домены в работающей конфигурации (xm list):

Код: Выделить всё

Name                                        ID   Mem VCPUs      State   Time(s)
0-pacman                                     0   383     2     r-----   2118.4
blinky                                       1 12000     8     -b----    151.9
pinky                                        2  8192     8     -b----    149.1
winxp                                        5  1024     2     -b----     13.5

dom0 работает без графики, поэтому такой маленький, а винда (hvm) в dom0 занимает совсем каплю:

Код: Выделить всё

$ ps -eo vsz,rss,comm |grep qemu
199536  3940 qemu-dm

[sinka]

А можно показать /etc/init.d - там, видимо. по-другому init скрипт называется.

Код: Выделить всё

.depend.boot
.depend.halt
.depend.start
.depend.stop
1.txt
SuSEfirewall2_init
SuSEfirewall2_setup
aaeventd
acpid
alsasound
atd
auditd
autofs
autoyast
avahi-daemon
avahi-dnsconfd
bluez-coldplug
boot
boot.apparmor
boot.cleanup
boot.clock
boot.crypto
boot.crypto-early
boot.cycle
boot.d
boot.device-mapper
boot.dmraid
boot.fuse
boot.ipconfig
boot.klog
boot.ldconfig
boot.loadmodules
boot.local
boot.localfs
boot.localnet
boot.lvm
boot.md
boot.multipath
boot.open-iscsi
boot.proc
boot.rootfsck
boot.startpreload
boot.swap
boot.sysctl
boot.udev
boot.udev_retry
cifs
cron
cups
dbus
dnsmasq
earlysyslog
earlyxdm
esound
fbset
gpm
haldaemon
halt
halt.local
irq_balancer
joystick
kbd
kexec
ksysguardd
libvirtd
mcelog
mdadmd
multipathd
mysql
network
network-remotefs
nfs
nmb
nscd
ntp
open-iscsi
openvpn
pm-profiler
postfix
powerd
powerfail
random
raw
rc
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d
rcS.d
reboot
rpcbind
rpmconfigcheck
rsyncd
setserial
single
skeleton
skeleton.compat
smartd
smb
smolt
spamd
spampd
splash
splash_early
sshd
stoppreload
syslog
xdm
xencommons
xend
xendomains
xfs
xinetd
ypbind

может это xdm?

[sinka]

похоже что вчера не только я получила стресс от экспериментов, но и сам сервер тоже Ночь и утро прошли спокойно - xen пока не умирал анализируя мониторинг командой top, я не нахожу сейчас в процессах kdm_greet. Возможно это совпадение

[sash-kan]

может это xdm?

да·
# /etc/init.d/xdm stop

не нахожу сейчас в процессах kdm_greet

это программа, выводящая графическое приглашение для ввода логина и пароля·
если x-сессия не была завершена, этот процесс и не запускался·

[sinka]

Похоже,что все-таки графика устроила мне сладкий месяц. Вот уже неделю отработали благополучно Я даже себе представить не могла,что кроме того,что выслушают меня и посмотрят мои логи, так еще и объяснят подробно про некоторые настройки и процессы...Уж и не помню когда встречала такое отношение..Огромное спасибо всем !!!:) Все то,что вы мне объясняли - это результат опыта и практики или можно где-то почитать?

[SLEDopit]

можно где-то почитать?

Если на русском, то:
Эви Немет. Руководство администратора Linux
Xen

[Bluetooth]

можно где-то почитать?

Если на русском, то:
Эви Немет. Руководство администратора Linux
Xen

Люто поддерживаю сверхполезные ссылки

[sinka]

знание - безусловно сила -- прошу прощения, что заставил бегать...

Большое спасибо, за то,что тогда пришлось бежать в серверную Дело в том,что тогда мы загрузились с консоли. Первоначально проблемы начались после двух дней продолжительного отключения света, и я сервер включала удаленно через ilo. Поскольку графика была включена, то на экране появлялось окно для ввода пароля. В районных центрах у нас стоят такие же сервера и с такими же настройками, но подобных проблем у них не было, я не могла понять: почему. Вот, после "хождения по мукам", и нашлось объяснение - в районах программисты сервер загружают с консоли. Сейчас если бывают какие-то перебои с питанием и приходится включать сервер, делаем это с консоли.Мне бы и в голову не пришло, что из-за дружелюбного приветсвия (kdm_greet) могут быть такие последствия