Чем делать рейд?

[Davinel]

1000/2 = 500 месяцев. 500/12 >41 года жизни винчестера. В среднем. Не верю.

Нормально это вполне. По началу все диски новые и какое то время дохнуть будут только бракованные, которых не много. Потом диски будут стареть и умирать чаще, что увеличит частоту замены. Но при этом дохлые диски заменяются на новые(у которых естественно шанс скончаться низкий), что уравновешивает систему и поэтому среднестатистическое количество дохлых дисков остается практически неизменным(хотя все равно должно расти, чем дальше тем больше)

[BIgAndy]

есть >1000 дисков, в месяц меняем 1-2 диска

1000/2 = 500 месяцев. 500/12 >41 года жизни винчестера. В среднем. Не верю.

Нет, почему? Поверить можно, если винты были воткнуты, скажем, менее двух лет назад и более-менее в одно и то же время. Есть в технике такое явление: лавинообразный рост отказов.. Наверное, с таким явлением никто не сталкивался Есть также такое понятие как "наработка изделия на отказ".
Никто из апологетов sof-raid'ов такие параметры не учитывает. В общем, как показывает практика использования промышленных решений, они оказываются намного дешевле домоощеных. Я по-человечески понимаю стремление админов к росту обслуживаемости оборудования, но наш личный гений (мой и одного из нашиходминов) позволил отказаться от постоянной штатной единицы, а меры профилактики сократили отказы до менее чем три незначимых на сорок единиц машин в год и менее одного серьезного в три года. Хотя куда стремиться, конечно есть пространство.

[watashiwa_daredeska]

если винты были воткнуты, скажем, менее двух лет назад и более-менее в одно и то же время.

Тогда это вообще не показатель.

[anonymous.ru]

dmraid - нафиг. фэйк-рейды страшная штука.
lvm все же для другого предназначен, да и насколько я помню там никаких конфигураций кроме raid0 или raid1 не реализуешь.
так что остается mdadm.

Ура! Первый ответ на вопрос.
Да и в LVM еще проблема в том, что зеркалироваться будет только содержимое логических томов.
Методанные дисковой группы будут за рамками такого рейда.
Они конечно дублируются на всех дисках в группе, и их даже можно отдельно бекапить.
Эти метаданные на одном из дисков могут быть повреждены и надо еще уметь их восстанавливать ручками.
И процедура восстановления зеркала после сбоя в LVM сложнее чем в случае mdadm


А еще по умолчанию для создания зеркала LVM просит три диска в группе (третий под лог)
Зато LVM позволяет делать снепшеты.

[BIgAndy]

Зато LVM позволяет делать снепшеты.

Еще раз. LVM - для другого и не вместо, а вместе с raid его надо использовать.

[anonymous.ru]

Еще раз. LVM - для другого и не вместо,

Еще раз: LVM вполне можно использовать для зеркалирования данных.
Все зависит от задачи.
Вы не привели аргументов против LVM
Хотя, понятно что Вы в целом против программных рейдов.


UPD Есть юниксы в которых LVM (или VxVM) дает единственный возможный способ сделать программное зеркало, и других инструментов в ОС для этого не предусмотрено.
UPD2 Кстати VxVM позволяет делать RAID5

[BIgAndy]

Вы не привели аргументов против LVM

Я и не могу привести против LVM ни одного аргумента, поскольку сам везде использую LVM. Но не для зеркалирования, а для масштабирования. . Я просто редбуки IBM.

Еще раз: LVM вполне можно использовать для зеркалирования данных

Да, да да.. А еще rsync. и dd.
Если вы заметили, я говоил о промышленных, а не о бытовых решениях не случайно. Я не скажу, что у нас mdadm не используется, Возможно есть еще на нескольких, но толку с него как с козла молока.

UPD Есть юниксы в которых LVM (или VxVM) дает единственный возможный способ сделать программное зеркало, и других инструментов в ОС для этого не предусмотрено.

Я не знаю ни одного промышленного юникса, который используетVxVm, подозреваю, что это только приблуда маздаева до сих пор.
На машине с AIX'ом у нас обычный, еще скази райд.

[anonymous.ru]

Да, да да.. А еще rsync. и dd

А вот и нет
Названные Вами инструменты - это средства снятия резервных копий.
А как Вым было сказано в самом начале резервное копирование и зеркалирование разные вещи.
LVM позволяет зеркалировать данные на разные физические диски, в реальном режиме времени, так как бы это делал "аппаратный" рейд.

На машине с AIX'ом у нас обычный, еще скази райд.

"обычный" - Вы имеет ввиду аппаратный. Это хорошо. Но как то это мимо вопроса.
В AIX есть возможность сделать программный RAID не используя LVM?
Я думаю, все поняли, что Вы против таких рейдов, сейчас мы обсуждаем просто такую возможность в ОС.

[KiWi]

если винты были воткнуты, скажем, менее двух лет назад и более-менее в одно и то же время.

Тогда это вообще не показатель.

Винты добавлялись по мере необходимости -- первые появились почти 3 года назад.

И, по большому счёту, 3 года -- естественный срок жизни -- после этого уже можно поменять и получить больше места -- с 750ГБ до 2ТБ на диск.

[anonymous.ru]

Я и не могу привести против LVM ни одного аргумента, поскольку сам везде использую LVM. Но не для зеркалирования, а для масштабирования.

Отлично! Замечательно!
LVM есть возможность зеркалирования томов. То, что Вы этой возможностью не пользуетесь еще не о чем не говорит.
Я спрашивал аргументы против использования LVM для зеркалирования данных.
Вы можете привести такие аргументы? Пусть даже в качестве пересказа редбуков.

Я не знаю ни одного промышленного юникса, который используетVxVm, подозреваю, что это только приблуда маздаева до сих пор.

Эм.. вообще то VxVM - это Veritas Volume Manager и он доступен и часто используется в HP-UX и Solaris.
Конечно чаще для масштабирования чем для избыточности. Так же как и Вы используете LVM

[KiWi]

Сейчас посмотрел:
SAS на 300GB стоит ~$240
SATA на 500GB стоит ~$40

Даже если менять SATA каждые 3 года в целях профилактики, SAS будет экономически выгоднее только через 6 раз x 3 года -- через 18 лет.
При этом, SAS не будет трогаться вообще, а SATA -- с каждой заменой будет расти в объёме(раза в полтора-два).

Так что, если производительность диска некритична, то SAS брать нет смысла.

[watashiwa_daredeska]

по большому счёту, 3 года -- естественный срок жизни

Тогда должно быть 1000/(3*12) ≈ 28 винтов/месяц, а не 1–2.

[KiWi]

по большому счёту, 3 года -- естественный срок жизни

Тогда должно быть 1000/(3*12) ≈ 28 винтов/месяц, а не 1–2.

Это при условии, что все 1000 винтов -- уже проработали 3 года.
Скорее всего, для многих из этой 1000 -- это не так -- достаточно часто в выборе -- новая полка с дисками или новые диски в старой полке -- выбирается второе, потому оно не требует дополнительно места в стойках и питания, что достаточно важно.

Да и просто производить какие-то действия с 70 машинами гораздо легче, чем со 140(изменение настроек, новый софт, обновление ОС и т.п.).

[watashiwa_daredeska]

Это при условии, что все 1000 винтов -- уже проработали 3 года.

Так я о том и толкую, что бессмысленно говорить о статистике отказов в стиле «у нас 1000 винтов и дохнет 1–2 в месяц», если эта 1000 куплена вчера, а винтов возрастом хотя бы 3 года — от силы сотня.

[Alex2ndr]

есть >1000 дисков, в месяц меняем 1-2 диска

1000/2 = 500 месяцев. 500/12 >41 года жизни винчестера. В среднем. Не верю.

Жжете
С такой математикой подходить к этому вопросу нельзя. Если подходить логически, то при одновременной покупке всех этих винтов настанет время, когда процент выпадения станет намного больше. (до 500 в месяц) Т е когда харды физически выработают свой ресурс. При растянутой же на хотя бы 100 месяцев покупке( компания то не сразу строилась) процент выпадения иногда будет превышать 1-2 харда, когда очередная партия хардов изностится. Но 41 года никогда не будет .

[KiWi]

Это при условии, что все 1000 винтов -- уже проработали 3 года.

Так я о том и толкую, что бессмысленно говорить о статистике отказов в стиле «у нас 1000 винтов и дохнет 1–2 в месяц», если эта 1000 куплена вчера, а винтов возрастом хотя бы 3 года — от силы сотня.

О сроке износа винтов вообще бессмысленно говорить -- бракованные дохнут практически сразу, небракованные 3 года отработают без проблем. После этого -- железо устаревает и, скорее всего, будет меняться полностью.
С SAS это сложнее -- за него отдавали кучу денег и поэтому выкинуть -- жаба душит.

Если взять те же десктопные машины -- раньше Core2Quad был исключительно в мечтах, сейчас -- на каждом углу.

И всё ведется ровно к одной мысли -- покупать SAS имеет смысл только туда, где реально нужна его производительность. В остальных случаях SATA -- экономически выгодней.

P.S.: года через 3 -- SSD будет стоить столько же, сколько SAS(или даже SATA) сейчас. И это будет хорошим поводом, чтобы перейти на SSD.
P.P.S.: я здесь исключительно троллю.
P.P.P.S.: вообще, Оверсан-Скалакси любит SAS. Хотя, при всех деньгах, которые они вкладывают, это не мешает им устраивать epic failы.

[playnet]

Ого вы спаммеры

dmraid - нафиг. фэйк-рейды страшная штука.
lvm все же для другого предназначен, да и насколько я помню там никаких конфигураций кроме raid0 или raid1 не реализуешь.
так что остается mdadm.

Во, первый пост по делу. Спасибо.

[playnet]

Если бы топикстартеру действительно нужно было бы понять все аспекты мнения, озвученного мною, то вопросы были бы другие. Пока же вижу, что он психоогически старается найти сторонников своего видения,

Я НЕ ищу никаких подтверждений, у меня достаточно серверов с софт-зеркалами, и 5 лет их использования доказывает их состоятельность. Все было, и вылеты дисков из-за бэдов, и внезапные отключения электричества....
Так что попрошу свои сочувствия, переживания, заботы о начальстве и прочую шелуху оставить при себе. Есть такая вещь - "необходимость и достаточность решения". В данном случае необходимо и достаточно софт решение. (не fake!! Обращу на это еще раз внимание!)