Помогите найти причину вылетают виртуалки kvm.

[v8jupiter]

Здравствуйте. Помогите определить причину вылетания виртуалок. Виртуализация на базе KVM. В логах хостсервера вот такое пишет:

Jan 5 02:32:25 sysadmin kernel: [46087.470939] *pde = ddb0e067
Jan 5 02:32:25 sysadmin kernel: [46087.470946] Modules linked in: isofs nls_iso8859_1 nls_cp437 vfat fat usb_storage binfmt_misc ip6table_filter ip6_tables ipt_MA$
Jan 5 02:32:25 sysadmin kernel: [46087.470973]
Jan 5 02:32:25 sysadmin kernel: [46087.470975] Pid: 48, comm: Not tainted 2.6.35-24-generic #42-Ubuntu P7H55D-M PRO/System Product Name
Jan 5 02:32:25 sysadmin kernel: [46087.470977] EIP: 0060:[<c0355636>] EFLAGS: 00010282 CPU: 0
Jan 5 02:32:25 sysadmin kernel: [46087.470979] EIP is at __rb_rotate_left+0x16/0x70
Jan 5 02:32:25 sysadmin kernel: [46087.470980] EAX: f3bebed4 EBX: f3d72e94 ECX: 00000000 EDX: c098c17c
Jan 5 02:32:25 sysadmin kernel: [46087.470982] ESI: f3bebed4 EDI: f47e17f4 EBP: f6945f2c ESP: f6945f20
Jan 5 02:32:25 sysadmin kernel: [46087.470983] DS: 007b ES: 007b FS: 00d8 GS: 00e0 SS: 0068
Jan 5 02:32:25 sysadmin kernel: [46087.470987] f348f794 f3bebed4 f47e17f4 f6945f4c c0355784 f6945f4c c098c17c f47e17f4
Jan 5 02:32:25 sysadmin kernel: [46087.470990] <0> c1ff40e0 f47e17f8 00000000 f6945f70 c0207d1f f47e17f4 f6945f7c f348f780
Jan 5 02:32:25 sysadmin kernel: [46087.470994] <0> c27cd0a0 c257f560 00000000 c27cd0a0 f6945f8c c0208e35 f348f780 00000000
Jan 5 02:32:25 sysadmin kernel: [46087.471001] [<c0355784>] ? rb_insert_color+0x84/0x110
Jan 5 02:32:25 sysadmin kernel: [46087.471006] [<c0207d1f>] ? unstable_tree_search_insert+0xbf/0x120
Jan 5 02:32:25 sysadmin kernel: [46087.471008] [<c0208e35>] ? cmp_and_merge_page+0x175/0x2a0
Jan 5 02:32:25 sysadmin kernel: [46087.471010] [<c0208fe1>] ? ksm_scan_thread+0x81/0x180
Jan 5 02:32:25 sysadmin kernel: [46087.471013] [<c0165ec0>] ? autoremove_wake_function+0x0/0x50
Jan 5 02:32:25 sysadmin kernel: [46087.471015] [<c0208f60>] ? ksm_scan_thread+0x0/0x180
Jan 5 02:32:25 sysadmin kernel: [46087.471017] [<c0165a94>] ? kthread+0x74/0x80
Jan 5 02:32:25 sysadmin kernel: [46087.471019] [<c0165a20>] ? kthread+0x0/0x80
Jan 5 02:32:25 sysadmin kernel: [46087.471022] [<c010363e>] ? kernel_thread_helper+0x6/0x10
Jan 5 02:32:25 sysadmin kernel: [46087.471048] ---[ end trace 3e532e80f5acf8ff ]---


Я так понимаю здесь чтото с железом.Потому как до этого винт стоял на другом компьютере и ничего не вылетало.Пробовал и новый винт ставить. Какоето время виртуалки работают ,а потом некоторые вылетают(зависают не достучатся к ним).
Конфигурация компьютера:
Процесор intel core i5 650
Мать asus p7h55d-m-pro
винчестер WDC WD1600AAJS-00L7A0
Память 4x2gb Samsung (M378B5673FH0-CH900)

На хостмашине стоит ubuntu 10.10 ,в виртуалках стоит debian 5
Что делал:
memtest86++ проверял память ничего. Ошибок не нашло.
Менял мать
Винчестр поставил другой.

[Aliech]

Попробуйте погасить Hyper-Threading

[v8jupiter]

hyper-threading не отключал. Отключил cpu scaling, виртуалки все пока работают .

[dduh]

Я сталкивался с такой проблемой. Хотя явной причины так и не нашел. Использовался Intel Quad 2.6 G. Собирал две машины не на серверном железе. На Феноме все работало, на Интеле случались такие вещи. Система устанавливалась, машины в виртуалке занускались и в некоторые моменты происходило полное зависание, в логах ни чего интересного не находилось. Перешел на Феномы, проблемы пропали.
Вообще я обратил внимание, что тормоза появляются при массовом обращении виртуальных машин к дискам. И очень чувствуется разница при работе железного раида и софтового. Всю работу тормозят диски. Вывод (имхо), если хочешь получить хорошую работу сервера, надо ставить хардовый раид и диски выбирать с соответсвующей скоростью интефейса.
Еще сталкивался с такой ерундой (может это и правда ерунда, но у меня получились тормоза). Использую proxmox (попробуйте, может понравиться). Там используется Дебиан Lenny. Диски ext 3, поверх LVM. В виртуальной машине сталю Убунту, выбираю для диска ext4, получил зависон в процессе установки. На ext3 все заработало.

Вот что сейчас имеем

[v8jupiter]

И так после отключения cpu-scaling виртуалки уже сутки работают без падений и в логах все чисто.
Proxmox не понравился я его пробовал. Использую virsh для управления и virt-manager в очень редких случаях. А что бы диски не тормозили нужно оганичения ставить на vps.

[Aliech]

virtio не? Паравиртуализацию не предлагать? Имею базы данных, почтовые сервера и роутеры на виртуалках. И никаких проблем.

ЗЫ: Phenom зачётней работает, на мой взгляд...

[v8jupiter]

virtio и так использую.

[Bluetooth]

Недавно наблюдал на своем сервере с xen 4.0 подобную фигню. Виртуалки, правда, не вылетали, зато весь сервак мог с удовольствием не подняться, или dom0 заглючить. Все это могло произойти в совершенно разных местах, привести опять же к совершенно разным результатам. Более того, до этого наблюдал на другом сервере подобную фигню.

Короче, что бы проверил я:
В первую очередь, память. Причем не просто memtest, а еще бы попробовал переткнуть другую. Все 4 модуля(уж найдите где-нибудь :) ). Например, проблема с "другим сервером" была именно в памяти, точнее, в связке материнка+память. Сервер мог спокойно работать очень долго, но в определенный момент начинал "козлить" - все вываливается с трейсами, сегфолтами и прочей веселой фигней. Сразу же заменил какую-то хренову оверклокерскую память на самую обычную, с тех пор все работает хорошо.

А тот случай, что был недавно - там я заметил эти проблемы когда стал менять 2гиговые планки на 4гиговые. Компьютер и включался-то не всегда. Еще и тайминги для памяти bios ставил сумасшедшие. Причем, поставив 2гиговые обратно, то же самое наблюдал. Пытался и нормальные тайминги ставить, и частоту понижать, становилось стабильнее, но не до конца стабильно. В общем, сменил мать на нормальную, туда напихал и 2гиговые, и 4гиговые модули, всего 12гигов памяти. Работает стабильно, багов не замечено.

З.Ы. Ну и, на самом деле, вопрос к виртуализации врядли имеет отношение. Лучше бы в железо такое постить

[v8jupiter]

НУ не знаю после отключения выше написанного , Все работает отлично

[Aliech]

З.Ы. Ну и, на самом деле, вопрос к виртуализации врядли имеет отношение. Лучше бы в железо такое постить

Нет, не соглашусь. Тема находится там, где и должна. Если бы железка ядром не цеплялась - в железо. А темы про то, что может мешать нормальной работе VT-x или AMD-v - в виртуализацию...

ЗЫ: это Вам не с паравиртуализацией играться (=

[Bluetooth]

НУ не знаю после отключения выше написанного , Все работает отлично

Ну и замечательно, коли так
А еще Можно обновить ядро. 2.6.18 - старовато. Вполне возможно, что в новом ядре уже давно никаких глюков с частотой проца нет.

Нет, не соглашусь. Тема находится там, где и должна. Если бы железка ядром не цеплялась - в железо. А темы про то, что может мешать нормальной работе VT-x или AMD-v - в виртуализацию...

Ды нет, это же проблема не софта виртуализации. Точно так же из-за этого cpu scaling могло что угодно другое падать. Просто не крутится там ничего другого.

[v8jupiter]

ядро использую не 2.6.18 ,а 2.6.35

[v8jupiter]

Вообщем поставил дебиан 6-й . НА рейд 1 .
200 мб boot
15 gb /
7 gb своп
400 gb под lvm

Начал ставить виртуалки. Через апру минут сервера упал и в консоль выкинул call trace (в логах чисто он не записывается,наверно не успевает)
Все что успел записать:
call trace
..
raid+идут цыфры
child_rip+0x0/0x20

swiotlib_bounce+0x35/0x39
Это все что видно. Сервер ниначто не реагирует.

Падал пару раз подряд, сейчас работает.
ДУмаю поставить memetest наночь пускай поганаяет.
Что еще может быть.?

грешу может не правильно чтото с lvm сделал и рейдом.

[Aliech]

Были же уже аппаратные проблемы?

По железу: мои сервера стоят на AMD Phenome II x6 и Intel Xeon 5500Series. Весь парк машин себя хорошо чувствует...

[v8jupiter]

Были же уже аппаратные проблемы?

Да были но при отключении управления частотой процессора пропали. Теперь вот новые вылетели. Заметил вылетело оно когда lvm рейд синхронизировался и я создавал виртуалки.
Целую ночь гонял мемтестом ошибок в памяти не нашло.
А как у вас розбиты диски?

[Aliech]

На аппаратных рейдах - начало под системные разделы, в конце - lvm под виртуалки.
На софтовых - md под каждый раздел, включая отдельную md'шку под lvm.

Только вот мне не кажется, что проблема у Вас в lvm.

ЗЫ: идея. Попробуйте без libvirt...

[v8jupiter]

На аппаратных рейдах - начало под системные разделы, в конце - lvm под виртуалки.
На софтовых - md под каждый раздел, включая отдельную md'шку под lvm.

Только вот мне не кажется, что проблема у Вас в lvm.

ЗЫ: идея. Попробуйте без libvirt...

Сейчас будем пробовать

[v8jupiter]

И так пока поставил proxmox 1.7 не на рейд.(на ядре 32 ) libvirt не ставил
Поставил 10 виртуалок, 4 часа работают не вылетело ничего пока.
Жду до завтра , что бы результат узнать.

И теперь лучше phenom буду использовать.) Что дешевле что ядер больше и гемора меньше.

[Bluetooth]

Я повторяю свое предложение заменить на время всю память. Часто бывает, что падения "на пустом месте" могут быть из-за памяти. И даже бывает, что они очень долго не дают о себе знать. Вот как у Вас сейчас. Вы поперезагружайте сервер раз 10, нагружая виртуалками покуда память не кончится. Если при этом не вылетит ничего - можно хард, который Вы отключили. проверить. Если будет вылетать - я бы проверял память.

И теперь лучше phenom буду использовать.) Что дешевле что ядер больше и гемора меньше

Недавно огребал такие проблемы на нескольких феномах, а так же на одном компе с интелом. Что теперь брать мне? IBM Power? :)

[dduh]

Тоже попал в тему. Начала зависать Убунта, на kvm (proxmox). Винда работает, а убунта зависает. До этого работала постоянно больше года. Проблемы начались после какого-то обновления ядра (у убунты). И похоже зависание происходит ночью во время бэкапа машин. Посмотрю что будет с Дебианом, все равно на него собрался сервер терминалов перевести.

[v8jupiter]

Я повторяю свое предложение заменить на время всю память. Часто бывает, что падения "на пустом месте" могут быть из-за памяти. И даже бывает, что они очень долго не дают о себе знать. Вот как у Вас сейчас. Вы поперезагружайте сервер раз 10, нагружая виртуалками покуда память не кончится. Если при этом не вылетит ничего - можно хард, который Вы отключили. проверить. Если будет вылетать - я бы проверял память.

И теперь лучше phenom буду использовать.) Что дешевле что ядер больше и гемора меньше

Недавно огребал такие проблемы на нескольких феномах, а так же на одном компе с интелом. Что теперь брать мне? IBM Power?

Нет, но уже и сам заметил что на процессорах от AMD лучше работает, + в них ядер больше за меньшую цену, а вот память я бы с удовольствием попробовал но нет возможности.

P.S. Винты новые я их проверял. Специально тестил, мамка тоже нормальная новая, из старого осталсь только память и проц

[v8jupiter]

На даный момент пробовал отключить hyper traiding,менял винт но всеравно вылетело.
Вот успел на телефон сфоткать ошибки при которых вылетает: это первый раз когда вылетело без рейда на proxmox

2-й раз после моих издевательств над биосом

на рейде с дебиан 6 вылетело вот с таким

, предыдущие ошибки на 6-ом дебиане не проявлялись.

[v8jupiter]

На даный момент пробовал отключить hyper traiding,менял винт но всеравно вылетело.
Вот успел на телефон сфоткать ошибки при которых вылетает: это первый раз когда вылетело без рейда на proxmox

2-й раз после моих издевательств над биосом

на рейде с дебиан 6 вылетело вот с таким

, предыдущие ошибки на 6-ом дебиане не проявлялись.

Теперь вот еще такие приколы начались, работает работает а потом сам по себе выключился,началось посл того как я оперативку вытянул и вставил все планки

[Aliech]

Это на одной хост-машине? Просто отмигрировать на другую нет желания?

[v8jupiter]

ДА я уже виртуалки перенес на другую. А теперь сервер забрал к себе и пытаюсь найти причину

[Aliech]

Ну я не знаю, как оно на i5 себя ведёт. Тут и от версии BIOS зависит много. И от версии фирмвари проца... Я бы на него и списал проблему, раз это всё, что осталось от первого сервака /

[Ali1]

Я повторяю свое предложение заменить на время всю память. Часто бывает, что падения "на пустом месте" могут быть из-за памяти. И даже бывает, что они очень долго не дают о себе знать. Вот как у Вас сейчас. Вы поперезагружайте сервер раз 10, нагружая виртуалками покуда память не кончится. Если при этом не вылетит ничего - можно хард, который Вы отключили. проверить. Если будет вылетать - я бы проверял память.

И теперь лучше phenom буду использовать.) Что дешевле что ядер больше и гемора меньше

Недавно огребал такие проблемы на нескольких феномах, а так же на одном компе с интелом. Что теперь брать мне? IBM Power?

Нет, но уже и сам заметил что на процессорах от AMD лучше работает, + в них ядер больше за меньшую цену, а вот память я бы с удовольствием попробовал но нет возможности.

...

А что, под феномы 1055 есть платы с нормальным биос для памяти с коррекцией ошибок (ECC)?

[v8jupiter]

Ну я не знаю, как оно на i5 себя ведёт. Тут и от версии BIOS зависит много. И от версии фирмвари проца... Я бы на него и списал проблему, раз это всё, что осталось от первого сервака /

НУ собстаенно память еще осталась из старого)).

[Aliech]

А что, под феномы 1055 есть платы с нормальным биос для памяти с коррекцией ошибок (ECC)?

Ммм... Если есть деньги, на память ECC, то найдутся деньги и на Opteron...

[v8jupiter]

Вытянул 2 планки памяти. У меня в 4 слота по 2 гига , 2 самсунга которые сразщу стояли(с ними когдато у меня была ошибка), оставил 2 планки те что добавлял, поставил 6-й дебиан на lvm, c libvirt. Поставил 2 виртуалки.

Самое инетресное когда ставил proxmox до этого то 4 % каждая виртуалка брала у процессора , а сейчас 0 когда все вручную.