Сделать зеркало всего диска "на ходу". RAID не предлагать

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

DSS
Сообщения: 390

Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение DSS »

Как сделать зеркало диска "на ходу"?

Если не "на ходу" - всё понятно, берём dd, долго ждём.

RAID не предлагать. Fake'овые нежизнеспособны, на настоящие денег не дают.

В идеале хотелось бы ещё и с поддержкой differential - чтобы, если зеркало на этот диск уже делалось, заливались только изменения.
Спасибо сказали:
patrius
Сообщения: 337
ОС: Debian (4 & 5) -> Gentoo

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение patrius »

могу посоветовать ср :)
А если серьезно, смотрите в сторону "сердцебиения" (Heartbeat)
Имхо, приведенный материал больше как пища для размышлений, но подобная идея в работе лучше, чем приславутый RAID.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение rm_ »

RAID не предлагать. Fake'овые нежизнеспособны, на настоящие денег не дают.

Используйте md (mdadm).

Но если под необходимостью "зеркала диска" на самом деле понимается нужда в резервном копировании (которому RAID, как известно, не замена), лучше обратить внимание на инструменты типа mirrordir и rdiff-backup.
Спасибо сказали:
Аватара пользователя
Goodvin
Ведущий рубрики
Сообщения: 4333
Статус: ⚝⚠⚒⚑⚖☭☞☣☤&

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение Goodvin »

Автору для начала надо осилить прочтение правил форума и поиск.

Всё уже обсуждалось.
Клонирование живой системы "на лету"

И решение там описано.
Спасибо сказали:
DSS
Сообщения: 390

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение DSS »

rm_ писал(а):
08.11.2010 09:38
Используйте md (mdadm).

Не даёт зеркалировать /boot
Непонятно, что делать, если сам md потеряет информацию о структуре томов.
В симметричном случае с dm (например, на Intel ICHxR) падение самого массива приводит как минимум к потере информации о таблице разделов. В некоторых случаях testdisk спасает, но в некоторых - нет.

Goodvin писал(а):
08.11.2010 11:41
Всё уже обсуждалось.
Клонирование живой системы "на лету"
И решение там описано.

Спасибо. По клонированию не искал.
Из описаний "решения" в указанной теме нашёл только, что используется что-то самодельное. Как это самодельное можно узреть?


Ещё подсказали вариант: fs со снапшотами. Типа XFS или ZFS. Не знаю, имеет смысл рассматривать или нет.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение rm_ »

Не даёт зеркалировать /boot

Даёт.

Непонятно, что делать, если сам md потеряет информацию о структуре томов.

Если речь идёт о метаданных, то хранятся они дублированными на каждом из томов, так что потерять их проблематично.
Если потеряли - можно поднять массив без них, указав вручную все параметры (тип массива и список устройств в нём).
Если и это не получилось - просто восстановить данные из бэкапа.

Ещё подсказали вариант: fs со снапшотами. Типа XFS или ZFS. Не знаю, имеет смысл рассматривать или нет.

В XFS нет снапшотов.
Чтобы сказать, имеет смысл или нет, вы бы сначала задачу озвучили.
С какой конечной целью собственно что-то требуется.
Спасибо сказали:
DSS
Сообщения: 390

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение DSS »

rm_ писал(а):
08.11.2010 15:19
Даёт.

Тогда ругается на то, что не может определить порядок загрузки или записать grub в выбранной конфигурации.
Хотя, может быть я что-то призабыл и он не даёт зеркалировать, например, swap.

rm_ писал(а):
08.11.2010 15:19
Если речь идёт о метаданных, то хранятся они дублированными на каждом из томов, так что потерять их проблематично.

Метаданные массива или метаданные файловой системы?

rm_ писал(а):
08.11.2010 15:19
Если и это не получилось - просто восстановить данные из бэкапа.

Бэкап на пару террабайт и делается и восстанавливается неприемлемо долго.
В файловой системе без снапшотов ещё и вызывает вопросы по поводу его соответствия реальному положению дел.

rm_ писал(а):
08.11.2010 15:19
В XFS нет снапшотов.

Пишут, что есть:
http://ru.wikipedia.org/wiki/%D0%A1%D1%80%....81.D1.82.D0.B8

rm_ писал(а):
08.11.2010 15:19
Чтобы сказать, имеет смысл или нет, вы бы сначала задачу озвучили.
С какой конечной целью собственно что-то требуется.

Есть система, которая опрашивает удалённых агентов и пишет данные к себе.
200-300 Гб в сутки (по крайней мере HDD 2 Тб хватает на хранение истории примерно за неделю).
Ближайший аналог, который можно себе представить - видеонаблюдение. Или сервер тотального логгирования действий пользователей на компьютерах.
Задача - с минимальнейшими материальными затратами (поэтому об аппаратных RAID"ах и кластерах можно забыть сразу и навсегда) обеспечить работу сервиса и сохранность данных.
Причём, работа сервиса приоритетнее сохранности.
Спасибо сказали:
Аватара пользователя
SLEDopit
Модератор
Сообщения: 4824
Статус: фанат консоли (=
ОС: GNU/Debian, RHEL

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение SLEDopit »

DSS писал(а):
08.11.2010 08:51
Fake'овые нежизнеспособны, на настоящие денег не дают.
Дык есть же софтовые рейды.
DSS писал(а):
09.11.2010 10:23
Задача - с минимальнейшими материальными затратами (поэтому об аппаратных RAID"ах и кластерах можно забыть сразу и навсегда) обеспечить работу сервиса и сохранность данных.
lvm или soft raid10 (ну или 1) чем не нравятся?
UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity. © Dennis Ritchie
The more you believe you don't do mistakes, the more bugs are in your code.
Спасибо сказали:
Аватара пользователя
DaemonTux
Сообщения: 1480
Статус: Юный падаван
ОС: Gentoo

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение DaemonTux »

DSS писал(а):
09.11.2010 10:23
Пишут, что есть:
http://ru.wikipedia.org/wiki/%D0%A1%D1%80%....81.D1.82.D0.B8

Xfs сама делать снапшоты не умеет. Для этого нужно использовать lvm2. Он как раз и занимается снапшотами
Vladivostok Linux User Group
Спасибо сказали:
Аватара пользователя
Goodvin
Ведущий рубрики
Сообщения: 4333
Статус: ⚝⚠⚒⚑⚖☭☞☣☤&

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение Goodvin »

DSS писал(а):
08.11.2010 14:59
Из описаний "решения" в указанной теме нашёл только, что используется что-то самодельное. Как это самодельное можно узреть?

Читайте внимательно.
Там расписан принцип работы моего решения.
Смысла приводить все команды дословно не вижу.

+ ссылка на opennet, где еще два варианта решения задачи.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Сделать зеркало всего диска "на ходу". RAID не предлагать

Сообщение rm_ »

DSS писал(а):
09.11.2010 10:23
rm_ писал(а):
08.11.2010 15:19
Даёт.

Тогда ругается на то, что не может определить порядок загрузки или записать grub в выбранной конфигурации.

Это уже проблема используемого Вами загрузчика.
У меня система установлена на RAID5 из трёх разделов, а /boot - это RAID1 из трёх разделов. Пользуюсь lilo, он без проблем всё это воспринимает. И при "уходе" любого из дисков, ОС будет продолжать грузиться.

rm_ писал(а):
08.11.2010 15:19
Если речь идёт о метаданных, то хранятся они дублированными на каждом из томов, так что потерять их проблематично.

Метаданные массива или метаданные файловой системы?

Файловой системы, в случае зеркала - по определению, но и массива тоже. По метаданным mdadm, даже имея любой один диск массива, можно узнать, что это за массив был, все его параметры, а также в чём состояла роль данного диска в нём.

rm_ писал(а):
08.11.2010 15:19
В XFS нет снапшотов.

Пишут, что есть:
http://ru.wikipedia.org/wiki/%D0%A1%D1%80%....81.D1.82.D0.B8

Это не вполне верно: https://secure.wikimedia.org/wikipedia/en/wiki/XFS#Snapshots
XFS может только "замирать", давая внешнему менеджеру томов сделать снапшот. Я не могу назвать это "поддержкой снапшотов".
Спасибо сказали: