Выбор файловой системы для большого дискового раздела

[fm2clipper]

Доброго времени суток всем

Планирую запустить файловый сервер
6 дисков по полтора террабайта
хочу сделать RAID-5 средствами mdadm

Поддерживаются в линуксах такие большие разделы
и какую лучше файловую систему выбрать

Всем заранее спасибо

[Flaming]

и какую лучше файловую систему выбрать

ext3/4?
Первая стабильнее, вторая пошустрее. Хотя на самом деле вторая тоже вполне себе стабильная, но необкатанная, потому ещё не все одобряют.
Я бы таки посоветовал ext4

Да, к слову.
Для ext3 ограничения на размер раздела как раз хватит для вашей задачи. Примерно впритык (в зависимости от размера блока).
ext4 же это ограничение увеличено чуть ли не до небес до 1 эксабайта. его хватит за глаза.

[Bluetooth]

Доброго времени суток всем

Планирую запустить файловый сервер
6 дисков по полтора террабайта
хочу сделать RAID-5 средствами mdadm

Поддерживаются в линуксах такие большие разделы
и какую лучше файловую систему выбрать

Всем заранее спасибо

Как показывает практика, Raid-5 не слишком надежный:
http://habrahabr.ru/blogs/hardware/78311/

Я бы выбрал Raid6 или Raid10


По файловой системе: Я бы не стал заморачиваться, и взял бы обычную ext3.

[Ленивая Бестолочь]

поддержу Bluetooth на тему надежности raid.
от себя добавляю, что стоит задуматься о такой вещи, как lvm и её связи с raid, например при использовании raid10.
так же хочу сказать, что выбор файловой системы сильно связан с тем, какие именно файлы будут там лежать, чтобы правильно учитывать специфику ФС. будут ли там очень большие файлы? очень маленькие? кол-во того и другого?
ещё - подумайте на тему, нужны ли вам снепшоты и какие. это к слову об lvm, а так же об ext2/3-cow, brtfs(?).

[rm_]

XFS либо JFS, других вариантов на такой объём просто нет никаких.

P.S. хотя нет, один есть: если ещё не выбрана используемая ОС, поставьте одну из нативно поддерживающих ZFS и RAID-Z - это будет вообще шикарно.

[Bluetooth]

P.S. хотя нет, один есть: если ещё не выбрана используемая ОС, поставьте одну из нативно поддерживающих ZFS и RAID-Z - это будет вообще шикарно.

Никогда не слышал про рейд-z, решил погуглить, тут же нашел еще одну интересную статейку, где выливаются помои на рейд5: http://blogs.sun.com/bonwick/ru/entry/raid_z_russian

XFS либо JFS, других вариантов на такой объём просто нет никаких.

Почему?

[Flaming]

XFS либо JFS, других вариантов на такой объём просто нет никаких.

С чего это? Судя по описанию на вике ext3/ext4 поддерживают. Причём, ext4, судя по всему, ещё и на них рассчитана в том числе.

[rm_]

XFS либо JFS, других вариантов на такой объём просто нет никаких.

С чего это? Судя по описанию на вике ext3/ext4 поддерживают. Причём, ext4, судя по всему, ещё и на них рассчитана в том числе.

А вы "по описанию на вике", или так... из личной злобности, автору рекомендуете ДЕВЯТЬ ТЕРАБАЙТ EXT3?
Вы хоть представляете, сколько будет идти fsck на этом объёме?
Вы хоть представляете, какая она тормозная по сравнению с современными ФС? Особенно на таких объёмах файлов и разделов (поразмышляйте с гуглом над фразами "ext3 double indirection, triple indirection")?

К Ext4 две претензии:
1) это почти в стиле Микрософта, очередная заплатка-подпорка к бородатейшему дизайну, который тянется ещё из прошлого века со времён ext1 и 2; зачем себя ограничивать и пользовать такого франкен-монстра, когда можно выбрать "чистую" разработку, сразу рассчитанную на настоящие серьёзные системы, высокую надёжность и производительность, без наследственности, продиктованной тем что ФС писалась Линусом под свою 386-ую машинку;
2) она просто, пока ещё слишком сырая и глюкавая.

Если кто вспомнит про Рейзеры - они сами по себе ненадёжны, как говорится by design (гуглить "binary tree, drive bit error, reiser corruption", например вот), имеют смутное будущее (как тонко шутят на слашдоте, главная проблема ReiserFS - это vendor lock-in), а к четвёртому рейзеру применимо ещё и то же самое что к ext4 - весьма слабая обкатанность и вылизанность.

[Flaming]

rm_, ну, уже лучше, хоть объяснили.
Насчёт ext3 согласен, действительно не подумал, сколько fsck будет идти. И ещё довольно много под системные нужды зохавает. XFS всё-таки издавна на такие громадные разделы придумывалась, может, и лучше подойдёт.

2) она просто, пока ещё слишком сырая и глюкавая.

А вот с этим не соглашусь => в чём глюкавость проявляется?

[Ленивая Бестолочь]

Рейзеры - они сами по себе ненадёжны, как говорится by design

а можно этот момент разжевать. я погуглил, нашел ту же ссылку :)
там сообщение трехлетней давности.
мне просто интересно, т.к. у меня вообще всё-всё на рейзере, самый большой раздел ~1.5tb, там самба.
ну, из личного опыта могу сказать, что сам своими руками один раз похерил пятый рейд, на котором она лежала, reiserfschk восстановила довольно много. при том, что там 25% данных были гарантировано убиты.
ну, может повезло, конечно.
и да, раздел рейзер3 на 1,5tb проверяется долго, это.
ну, я обычно оправдываю это тем, что мы не часто его перезагружаем.

[rm_]

А вот с этим не соглашусь => в чём глюкавость проявляется?

Ну например:

Код: Выделить всё

$ curl -s http://www.kernel.org/pub/linux/kernel/v2.6/ChangeLog-2.6.32.{1..3} | grep ext4 | wc -l
76

Для xfs тот же показатель 1, для jfs - 0.
И ext4 там не просто так всуе упоминается, есть например такие вот няшности как "ext4: Avoid data / filesystem corruption when write fails to copy data", да даже можно мельком посмотреть количество упоминаний слов "fix", "error", "corrupt" и "failure".
Эту ФС кроят как хотят "по живому" на свежайших ядрах, пачками исправляя баги различной степени критичности.
Для важных данных, а тем более для девяти терабайт важных данных, использовать её ещё рановато.

[Balancer]

1) это почти в стиле Микрософта, очередная заплатка-подпорка к бородатейшему дизайну

Однако по совокупности, если не брать в расчёт reiser4, это самая быстрая сегодняшняя FS под Linux

2) она просто, пока ещё слишком сырая и глюкавая.

Держу на ней четыре машины, в т.ч. достаточно нагруженных - нарекание только одно. Плохо переживает зависы SAS-контроллера HDD Ну так в таких условиях у меня только reiserfs жила беспроблемно.

Если кто вспомнит про Рейзеры - они сами по себе ненадёжны, как говорится by design

Шесть лет простояла reiserfs на высоконагруженном сервере без KVM. Около месяца, когда винт высыпался бэдблоками, машина перезагружалась ресетом почти каждый день, пока не добрался, наконец, до площадки хостера. После этого отработала ещё около трёх лет Всё это время - почти непрерывный iowait. Если это «ненадёжно» - то я уже не знаю, что ещё может быть надёжным

...

Сегодня мой выбор - ext4 для разделов, где требуется скорость и xfs - где требуется периодическая дефрагментация из-за особенностей использования (файлопомойки, p2p и т.п.)

[Bluetooth]

XFS либо JFS, других вариантов на такой объём просто нет никаких.

С чего это? Судя по описанию на вике ext3/ext4 поддерживают. Причём, ext4, судя по всему, ещё и на них рассчитана в том числе.

А вы "по описанию на вике", или так... из личной злобности, автору рекомендуете ДЕВЯТЬ ТЕРАБАЙТ EXT3?

Я как-то сам об этом не подумал - не догадался 1.5тб умножить на количество хардов (: Тут я, конечно, соглашусь, что ехт 3 что-то как-то не очень хорошая идея (:
По ехт4 - во всем согласен.
А вот про рейзер - можно подробнее, в чем ее проблемы?

[fm2clipper]

Спасибо всем за то что откликнулись
Извините что долго не отвечал был в отъезде

Выбор склоняется к ZFS

и опять же возник вопрос насчет поддержки ZFS в FreeBSD и Debian/Linux

[drBatty]

Эту ФС кроят как хотят "по живому" на свежайших ядрах, пачками исправляя баги различной степени критичности.
Для важных данных, а тем более для девяти терабайт важных данных, использовать её ещё рановато.

+1
кстати, тут пролетала новость (для меня), что ext4 не поддерживает монтирование с umask. Если это так, то я ещё буду ждать... Я в любом случае буду ждать, ведь многие утилиты не работают с EXT4. (пока не работают)

[vr13]

от себя добавляю, что стоит задуматься о такой вещи, как lvm и её связи с raid, например при использовании raid10.

вопрос, чтобы не создавать отдельную тему. как лучше сделать:
имеется 4 диска и хочется на трети этого дискового пространства сделать raid10, а остальные 2/3 - raid0. на обеих частях предполагается множество разделов. очевидно, что есть два решения: mdraid+lvm2 или только lvm2 (striping, mirroring). также очевидно, что второй способ немного более трудоемкий
что лучше?
как обычно делают? (судя по гуглу - первым способом)

на всякий случай оговорюсь, что это тестовый компьютер и вопросов надежности/ценности возможно потерянной информации не возникнет ни при каких случаях
спасибо

[strah]

имеется 4 диска и хочется на трети этого дискового пространства сделать raid10, а остальные 2/3 - raid0.

Стоп. Если я все правильно понял, то получается, что 3/4 от 4 дисков - это три диска. Но делать из трех дисков raid10 смысла нету - там минимум 4 надо. Ну и соответственно делать на одном диске raid0 смысла нету. По поводу ФС и lvm: имей в виду, что xfs можно только увеличить в размерах, уменьшить уже нельзя - только пересоздать ФС заново.

[rm_]

имеется 4 диска и хочется на трети этого дискового пространства сделать raid10, а остальные 2/3 - raid0.

Стоп. Если я все правильно понял, то получается, что 3/4 от 4 дисков - это три диска.

Автор вроде бы ясно написал, не дисков, а дискового пространства.

[Bluetooth]

кстати, тут пролетала новость (для меня), что ext4 не поддерживает монтирование с umask.

А это, простите, зачем? Я вот представляю, зачем эта опция при монтировании фата. А вот нормальным фс она зачем...

mdraid+lvm2 или только lvm2 (striping, mirroring). также очевидно, что второй способ немного более трудоемкий

В чем трудоемкость второго способа меньше?

[drBatty]

А это, простите, зачем? Я вот представляю, зачем эта опция при монтировании фата. А вот нормальным фс она зачем...

ну например тут человек хотел разрешить запись группе. ИМХО это вполне нормальное желание - сделать общий раздел для группы.

[Flaming]

drBatty, странно, если не поддерживает. По идее там ничего такого сверхестественного. А вы пробовали? Или где-то прочитали, и на этом успокоились?

По поводу ФС и lvm: имей в виду, что xfs можно только увеличить в размерах, уменьшить уже нельзя - только пересоздать ФС заново.

Вот эта мелочь меня тоже всегда смущала. А ещё совместимость с вендой. Потому держу файлопомойку на ext3 (которая в теории может и быть фрагментирована, хотя вряд ли - ведь пишут, что ext3 не склонна к фрагментации), а так бы может и на XFS перешёл бы, и место бы сэкономил, и пошустрее было бы, возможно.
Или на ext4 перевёл бы. а так не могу.

[rm_]

А это, простите, зачем? Я вот представляю, зачем эта опция при монтировании фата. А вот нормальным фс она зачем...

ну например тут человек хотел разрешить запись группе. ИМХО это вполне нормальное желание - сделать общий раздел для группы.

Вполне нормальное желание забить гвоздь удовлетворять микроскопом - не нормально.
man setfacl.

[deadhead]

А это, простите, зачем?

Права при создании файлов и папок по-умолчанию

P.S. rm_ может проконсультируйте человека по вышеприведенной ссылке ;-)

[rm_]

xfs можно только увеличить в размерах, уменьшить уже нельзя - только пересоздать ФС заново.

Вот эта мелочь меня тоже всегда смущала.

На практике, достаточно не делать слишком много разделов (одного на физический диск вполне достаточно, тем более на файлопомойке) - и уменьшать их чаще всего не требуется, как и вообще, менять размеры.

А ещё совместимость с вендой. Потому держу файлопомойку на ext3

А зачем файлопомойке совместимость с виндой, иначе как в разрезе "Сетевого окружения"? Только не говорите, что она у Вас дуал-бутовая.

[drBatty]

Вполне нормальное желание забить гвоздь удовлетворять микроскопом - не нормально.
man setfacl.

я вот не понимаю, зачем использовать расширенные права, если можно обойтись простыми?

странно, если не поддерживает. По идее там ничего такого сверхестественного. А вы пробовали? Или где-то прочитали, и на этом успокоились?

ссылка чуть выше. я уже писал: ИМХО рано переходить на EXT4, особенно мне, у меня нет больших разделов. потому и проверить не могу, не создавать-же раздел для этого (мне ещё и ядро надо поменять, и наверное ещё что-нибудь)

[Bluetooth]

А это, простите, зачем?

тему видел, что такое umask - знаю. А зачем это указывать в опциях монтирования?

Вполне нормальное желание забить гвоздь удовлетворять микроскопом - не нормально.
man setfacl.

+1

А зачем файлопомойке совместимость с виндой, иначе как в разрезе "Сетевого окружения"? Только не говорите, что она у Вас дуал-бутовая.

Тут явно имелась ввиду не сетевая файлопомойка, а просто файлопомойка на локальном харде. Да еще и дуал бут...ужс в общем

[Flaming]

А зачем файлопомойке совместимость с виндой, иначе как в разрезе "Сетевого окружения"? Только не говорите, что она у Вас дуал-бутовая. smile.gif

Именно так дуалбутовая.

Тут явно имелась ввиду не сетевая файлопомойка, а просто файлопомойка на локальном харде. Да еще и дуал бут...ужс в общем smile.gif

Ага... не сетевая. локальная.