Дедупликация данных (Linux)

[BratSinot]

Доброго времени суток!

Вообщем вопрос насчет файловых систем с дедупликацией данных в Linux (ZFS и прочие костыли не предлагать) или чего-то, что применимо к существующим файловым системам.

И да, желательно чтобы эту ФС можно было использовать в корне.

[SinClaus]

Что бы этот вопрос не задать Гуглю? Или даже Вики. А оттуда ссылка вот сюда.

[BratSinot]

Что бы этот вопрос не задать Гуглю? Или даже Вики. А оттуда ссылка вот сюда.

Потому-что что-то может и не нагуглиться.

[Ленивая Бестолочь]

ZFS и прочие костыли не предлагать

я может быть ошибаюсь, и ситуация изменилась, но, когда я последний раз озабачивался этим вопросом, я пришел к выводу, что единственное, что можно использовать в корне, и что вообще работает не через fuse под линукс с дедупликацией - это zfs :-)

[alv]

что вообще работает не через fuse под линукс с дедупликацией - это zfs :-)

ТС обозвал это костылём
Правда, если с ним согласиться, то всё остальное будет инвалидной коляской
что, конечно, куда прогрессивней костыля

[Bluetooth]

Интересно, а много там в корне надедублицируется данных? :)

ЛБ, напомни, что ты через fuse использовал для дедупликации данных?

[BratSinot]

что вообще работает не через fuse под линукс с дедупликацией - это zfs :-)

ТС обозвал это костылём

Я обозвал ZFS On Linux костылем (а как иначе SPL назвать?).
Да и потом, ZFS это такое месиво. Делаем раздел, ставим тип Solaris/Solaris2, на разделе создаем пул, в пуле создаем виртуально устройство, с этим устройством еще что-то делаем, и монтируется оно хитро. Мне больше по душе классический подход.

[pelmen]

ТС обозвал это костылём

Я обозвал ZFS On Linux костылем

echo $ТС
BratSinot

[Ленивая Бестолочь]

ЛБ, напомни, что ты через fuse использовал для дедупликации данных?

lessfs например :-)

Делаем раздел, ставим тип Solaris/Solaris2, на разделе создаем пул, в пуле создаем виртуально устройство, с этим устройством еще что-то делаем, и монтируется оно хитро

да в целом это равносильно подходу LVM + любая "нормальная" ФС. но SLP конечно да.
монтировать можно и через fstab, если хочется.

всё остальное будет инвалидной коляской

вот это точно.

[alv]

Да и потом, ZFS это такое месиво.

Не в обиду Вам будет сказано, но месиво - Ваши представления о ZFS on Linux (или о ZFS вообще?).

Делаем раздел

совсем не обязательно, более того, рекомендуется деать пул на raw-устройствах

ставим тип Solaris/Solaris2

Это Вы от одного умника-убунтовца услышали?
во-первых, если пул на устройствах, а не на разделах - никакого типа у них нет
во-вторых, у Брайна ни слова не сказано о типе раздела
в-третьих, я делал пулы и на разделах с ID 83 - вреда ни малейшего

на разделе создаем пул

а создание, скажем, softRAID Level# на разделах не смущает?

в пуле создаем виртуально устройство

это устройство называется файловой системой ZFS
или при создании softRAID или LVM можно обойтись без создания файловой системы?

с этим устройством еще что-то делаем

страшно сказать, но с этим устройством работаем
типа данные на него пишем, например, парнуху всякую
потому что

и монтируется оно хитро.

да, монтируется оно настолько хитро, что не монтируется вообще
то есть монтируется, конечно, но так незаметненько...
если очень хочется - можно, конечно, как заметил Ленивая Бестолоч... и через fstab монтировать, но это - исключительно тем, кому

больше по душе классический подход.

А вообще, лучше один раз проделать, что сто раз пересказывать. И тогда Вы увидите, что на деле всё это действительно не сложнее создания каталогов в обычной файловой системе. Как и было обещано создателями.
Во всяком случае, куда проще, чем создание и особенно управление LVM.

[alv]

да в целом это равносильно подходу LVM + любая "нормальная" ФС

кроме того, что это гораздо проще

[alv]

Интересно, а много там в корне надедублицируется данных?

Видимо, речь идёт о решении

для предприятий с виртуальной средой

которым не жалко приобрести

Data Domain за $ 2 миллиарда

но хочется чуток сэкономить.
Цитаты из статьи по ссылке SinClaus, за которую ему, кстати, вери гран мерси.

[BratSinot]

Не в обиду Вам будет сказано, но месиво - Ваши представления о ZFS on Linux (или о ZFS вообще?).

В целом. Может то, что они там наделали (я про все тот-же пул и все что с ним связано) кому то и надо, но лично для меня это нагромождение.

совсем не обязательно, более того, рекомендуется деать пул на raw-устройствах

Круто, а с другими разделами мне как быть? Выкинуть?

Это Вы от одного умника-убунтовца услышали?

Сам видел, когда через "format->fdisk" разделы ковырял.

во-первых, если пул на устройствах, а не на разделах - никакого типа у них нет
во-вторых, у Брайна ни слова не сказано о типе раздела

"format->fdisk->Type" с вами не согласится.

в-третьих, я делал пулы и на разделах с ID 83 - вреда ни малейшего

Можно много чего делать.

И тогда Вы увидите, что на деле всё это действительно не сложнее создания каталогов в обычной файловой системе. Как и было обещано создателями.
Во всяком случае, куда проще, чем создание и особенно управление LVM.

Во первых, я ставил OpenIndiana и поднимал ZFS (правда в VBox, но я в нем делал, чтобы научится с их fdisk'ом работать и на винчестере разделы не похерить).
Во вторых, мне LVM, RAID и другие подобные вещи не нужны (в середине 0-х стояла RAID железка, но потом убрал). У меня нет машин с десятком винчестеров, чтобы их объединять.

Вообщем понятно, ничего нет путного. Только если плагин к Reiser4 навалять Правда там tail-packing не очень работает (как и ccreg40), поэтому смысла в Reiser4 нет.

Короче, тема исчерпана.

[alv]

Короче, тема исчерпана.
Go to the top of the pageReport Post

После этого поста - пожалуй...

[Ленивая Бестолочь]

ну в общем факт такой: надёжных и красивых, и при этом не zfs систем для linux с дедуплекацией - нет.
есть минимум две, которые работают через fuse.
мне лично SLP кажется меньшим злом, чем fuse.

[rm_]

Вообщем понятно, ничего нет путного.

А чем OpenDedup не "путное"? Вроде бы это и есть "та самая" дедуплицирующая ФС, самая лучшая из свободных и на GNU/Linux.
Ссылку на её обзор дали в первом же ответе, собсс-но какие ещё вопросы могут быть?
Я тестировал, работает. Из минусов - потребление ОЗУ, кажется до гигабайта на терабайт данных на диске, но похоже иначе просто никак.
И подозреваю возможны вопросы с "использовать в корне" - но нахрена козе боян? Если у вас сотни виртуалок или NFS-загружающихся систем, то какая разница, что в корне у сервера (занимающем какие-нибудь 5-10 ГБ), где это всё хранится. Под хранение - отдельный раздел, и OpenDedup на нём.

[BratSinot]

Если у вас сотни виртуалок или NFS-загружающихся систем, то какая разница, что в корне у сервера (занимающем какие-нибудь 5-10 ГБ), где это всё хранится. Под хранение - отдельный раздел, и OpenDedup на нём.

Да не держу я сервер! На своей рабочей машине хочу (и не спрашивайте зачем).

А чем OpenDedup не "путное"? Вроде бы это и есть "та самая" дедуплицирующая ФС, самая лучшая из свободных и на GNU/Linux.

FUSE и Java.

[rm_]

На своей рабочей машине хочу

На одной машине профит будет изчезающе мал, гораздо больше вы получите от BTRFS со сжатием и при умелом использовании снапшотов.

[Ленивая Бестолочь]

гораздо больше вы получите от ZFS со сжатием, дедупликацией и при умелом использовании снапшотов.

(я шучу)

[rm_]

гораздо больше вы получите от ZFS со сжатием, дедупликацией и при умелом использовании снапшотов.

(я шучу)

Я понимаю, но костылить ZFS (вкорячивая мутные третьесторонние патчи, с неясной надёжностью и будущим) вообще не вариант,
вот будет под GPL и в майнлайне, тогда и поговорим.
А btrfs есть и работает уже сейчас, к тому же она гораздо проще (что судя по сообщениям выше, немаловажно для автора).

[alv]

и не спрашивайте зачем

Вообще-то, вопрос так и просится.
Потому как когда just for fun - то не выспрашивают по форумам, а копают, разбираются, а потом с восторгом рассказывают: я, блин, это сделал.

вот будет под GPL и в майнлайне, тогда и поговорим.

не будет, но

костылить ZFS

за этими костылями, кроме Брайана, стоит американский Средмаш. За btrfs не стоит уже никто - даже лично товарищ Крис.

тогда и поговорим.

так что говорить надо здесь и сейчас

[rm_]

вот будет под GPL и в майнлайне, тогда и поговорим.

не будет, но

костылить ZFS

за этими костылями, кроме Брайана, стоит американский Средмаш. За btrfs не стоит уже никто - даже лично товарищ Крис.

Так или иначе обе принадлежат Ораклу, при желании которого вполне могла бы и "быть". Но такого желания нету, и в качестве решения для GNU/Linux предлагается BTRFS.
Крис собсс-но тоже продолжает её пилить, перейдя вместе с ещё одним разработчиком в FusionIO (которая, соответствуя своему названию, тоже вовсё не портянковязанием занимается). А ещё в майл-листе постоянный поток патчей от миллионов китайцев из (внезапно) Fujitsu.

[Bluetooth]

и не спрашивайте зачем

...потому, что внятного ответа на этот вопрос нет

"Дайте мне вот эту нехреновую хрень! И не спрашивайте зачем она мне! Я ж и сам не знаю!"

[BratSinot]

На одной машине профит будет изчезающе мал, гораздо больше вы получите от BTRFS со сжатием и при умелом использовании снапшотов.

А btrfs есть и работает уже сейчас, к тому же она гораздо проще (что судя по сообщениям выше, немаловажно для автора).

Я в ФС не разбираюсь, но я придерживаюсь мнения Шишкина о btrfs. И только не надо про всяких Red Hat и им подобных говорить, они btrfs продвигают только потому, что на Linux альтернативы нет.

Вообще-то, вопрос так и просится.
Потому как когда just for fun - то не выспрашивают по форумам, а копают, разбираются, а потом с восторгом рассказывают: я, блин, это сделал.

У меня слишком мало опыта, чтобы JFF без форумов делать Вон так и не получилось полностью завести InitNG или хоть как-то завести runit. Хотя потрошил iso Slackware, чтобы поставить на Reiser4 из коробки (правда на форуме все равно спросил, но там только натолкнули на initrd).

...потому, что внятного ответа на этот вопрос нет
"Дайте мне вот эту нехреновую хрень! И не спрашивайте зачем она мне! Я ж и сам не знаю!"

На самом деле, дело было вечером, делать было нечего. У меня мания такая, что-нибудь да менять (Slackware позволяет делать это безболезненно). Вечно то список установленных пакетов почищу, то из ядра очередную ненужную фичу/драйвер выкину (на самом деле я это специально постепенно делаю, а то уже было пару раз, повыкидывал, а потом сидел и думал что же такого важного я выкинул), то init-скрипты на csh перепишу .

[drBatty]

Вообщем вопрос насчет файловых систем с дедупликацией данных в Linux (ZFS и прочие костыли не предлагать) или чего-то, что применимо к существующим файловым системам.

tar чем не подходит?

[rm_]

Вообщем вопрос насчет файловых систем с дедупликацией данных в Linux (ZFS и прочие костыли не предлагать) или чего-то, что применимо к существующим файловым системам.

tar чем не подходит?

tar - это файловая система с дедупликацией данных?

[pelmen]

Вообщем вопрос насчет файловых систем с дедупликацией данных в Linux (ZFS и прочие костыли не предлагать) или чего-то, что применимо к существующим файловым системам.

tar чем не подходит?

tar ничем не подходит

[Bluetooth]

то init-скрипты на csh перепишу biggrin.gif.

:D

На самом деле, дело было вечером, делать было нечего.

Ну раз никакой реальной задачи не стоит, то зачем тогда упираться в желании поставить это на корень? Поставьте не на корень, посмотрите fuse поделки на это, оцените их, zfs в конце концов посмотрите, btrfs.

[Ленивая Бестолочь]

zfs в конце концов посмотрите, btrfs.

а вот это на корень :-)

[Bluetooth]

zfs в конце концов посмотрите, btrfs.

а вот это на корень :-)

Уйди, солярщик