Xen Cluster Debian DRBD OCFS2 Corosync and Pacemaker (нужен совет)

[hutnick]

Собрал кластер на двух хороших компьютерах, использовал Debian squeeze, Xen, DRBD, OCFS2, Corosync, Pacemaker, LVM. Для информации использовал много интернет ресурсов но принцип как в этой статье http://publications.jbfavre.org/virtualisa...m_configuration.
Машины мигрируют запускаются, Но меня терзают сомнения во первых о надежности всей этой системы а именно установка гостя производится на drbd раздел отформатированый в OCFS2 и вовремя установки ситемы, разметки диска создаю разделы в ext3 ext2 ext4, естествено поле этого там уже нет ocfs2 как то не логично получается ???
В тесте словил крах виртуальной системы. В планах крутить на VM билинг, asterisk, openfire.

[Bluetooth]

разметки диска создаю разделы в ext3 ext2 ext4, естествено поле этого там уже нет ocfs2 как то не логично получается ???

Все логично, внутри виртуальной машины будут обычные фс, а кластерная фс - на платформе виртуализации.
Единственное, я не понимаю, зачем в этой связке ocfs2(разве что для того, чтобы виртуальные машины запускать с файловых образов а не drbd ресурсов поверх lvm...Из статьи, приведенной по ссылке, я тоже не понял.

Поглядите наше решение, там Debian+xen+drbd+lvm, но без ocfs2. Оно в таком виде работает и предоставляет все необходимые функции. Также там используется ganeti, дабы всем этим было удобнее управлять.
SkyCover Infrastructure CD - дистрибутив кластера высокой надежности

[hutnick]

Спасибо за ответ я изучу ваш проэкт.

[hutnick]

столкнулся с такой проблемой при выходе node1 из строя виртуальная машина мигрирует на node2, после возвращения node1 VM уже не возвращается обратно. Вот вывод crm
sudo crm configure show
node node1 \
attributes standby="off"
node node2 \
attributes standby="off"
primitive xen_asterisk ocf:heartbeat:Xen \
params xmfile="/etc/xen/asterisk.hvm" \
op monitor interval="10s" \
op start interval="0s" timeout="30s" \
op stop interval="0s" timeout="300s" \
meta allow-migrate="true"
location prefer-node1 xen_asterisk 100: node1
location prefer-node2 xen_asterisk 0: node2
property $id="cib-bootstrap-options" \
dc-version="1.0.9-74392a28b7f31d7ddc86689598bd23114f58978b" \
cluster-infrastructure="openais" \
expected-quorum-votes="2" \
no-quorum-policy="ignore" \
stonith-enabled="false" \
default-resource-stickiness="1000" \
last-lrm-refresh="1359030785"

ну и лог crm
sudo crm_mon --one-shot
============
Last updated: Mon Jan 28 11:11:21 2013
Stack: openais
Current DC: node1 - partition with quorum
Version: 1.0.9-74392a28b7f31d7ddc86689598bd23114f58978b
2 Nodes configured, 2 expected votes
1 Resources configured.
============

Online: [ node2 node1 ]

xen_asterisk (ocf::heartbeat:Xen): Started node2

Failed actions:
xen_asterisk_monitor_0 (node=node1, call=5, rc=-2, status=Timed Out): unknown exec error

[Bluetooth]

после возвращения node1 VM уже не возвращается обратно.

А разве должна?

[hutnick]

А надо чтоб вернулась так как я планирую расместить разные виртуалки по разным нодам. Для каждой vm свой drbd ресурс, и вслучае падения они уходят на живую ноду а когда все встрою то работают по своим нодам.
Может я что то не добавил в правила crm ???
и еще вопрос ganeti позволяет реализовать подобную схему, как жизнь виртуалок на разных хостах ???

[Bluetooth]

А надо чтоб вернулась так как я планирую расместить разные виртуалки по разным нодам. Для каждой vm свой drbd ресурс, и вслучае падения они уходят на живую ноду а когда все встрою то работают по своим нодам.

Идея автоматического возврата инстанса при появлении ноды на самом деле весьма провальная: нода может вернуться в неподходящем состоянии, в неподходящий момент, что чревато неожиданными перебоями в работе или чем похуже.
Также не стоит забывать, что миграция вообще не всегда успешно проходит.
В общем, мысль "я соберу кластер, а дальше он будет работать полностью сам" утопичная изначально. Так что просто, введя ноду в строй, ручками мигрируйте инстансы когда надо.

и еще вопрос ganeti позволяет реализовать подобную схему, как жизнь виртуалок на разных хостах ???

Да, позволяет. Замечу, что средствами ganeti автоматический фейловер не делается, но его можно реализовать другими средствами.

[hutnick]

Ganeti в мою схему можно как то вписать ??? Или может посоветуете какую нибудь систему управления этой всей системой???

[nickm]

hutnick, про DRBD с pacemaker можно тут документацию найти http://www.linbit.com/en/downloads/tech-guides

[Bluetooth]

Ganeti в мою схему можно как то вписать ??? Или может посоветуете какую нибудь систему управления этой всей системой???

Можно.