Фрагментация в Linux: мифы и реальность

[GazDek]

Собственно вот статья : http://www.cifranews.ru/articles/2008/15/kg81503.html
А действительно, есть дефрагментаторы под Линуксом?
Например, можно ли дефрагментировать флэшку под Линуксом, которая пол года активно использовалась под Виндой?

[romuil]

Дефрагментация флешки это не смешно.
Очень помогает форматирование.

[Bluetooth]

почитал статью про 3 группы пользователей понравилось, вот только почему-то кого-то нехватает
ну а если штатных средств для дефрагментации нет, значит, они и не актуальны. иначе были бы. про флешку сказали выше.

[ZyX]

ну а если штатных средств для дефрагментации нет, значит, они и не актуальны. иначе были бы. про флешку сказали выше.

Если в дистрибутиве есть поддержка XFS, то там наверняка есть и дефрагментатор
(xfs_fsr). Для других FS я его не видел, но есть shake для всех FS, правда, вряд
ли он является штатным.

[Mr Y]

Решил как-то раз отдефргаментировать раздел ext3, используемый для /home. Там как раз кол-во непоследовательных айнодов близилось к 8%. Использовал defrag. В середине процесса, как это обычно бывает, вырубилось электричество.
После этого даже удалось восстановить самые нужные файлы =) На остальные просто забил. Помогли mc и konqueror. Последний автоматически определял тип файлов и показывал изображения.
В итоге производительность ФС почти не увеличилась, а времени потратил достаточно.

Теперь я стал ближе ко второй группе пользователей и таким маразмом не занимаюсь
Кстати, спасибо за ссылку. Хотя классификация линуксоидов не полная

А для флешек фрагментация даже полезна, не так ли?

[Maximus_V]

А для флешек фрагментация даже полезна, не так ли?

Я вот думаю, а нужна ли вообще флешкам дефрагментация? Гонять кусочки файлов туда-сюда, складывая как кирпички разрозненные данные на ненадежном носителе? Не проще ли сохранить их на жестком диске, флешку отформатировать и все данные оптом записать. Ведь не будет же при последовательной записи множества файлов возникать фрагментация кусочков? Или будет?

[Flaming]

Я вот думаю, а нужна ли вообще флешкам дефрагментация? Гонять кусочки файлов туда-сюда, складывая как кирпички разрозненные данные на ненадежном носителе?

Это когда это флешки стали менее надёжными, чем жёсткие диски?
Но дефрагментация попросту не нужна, не тот тип железа, скорость доступа к файлам существенно выше.

[Ali1]

Всегда были. 10**5 циклов перезаписи. Дефрагментируйте чаще...

[Rusikk]

Я вот думаю, а нужна ли вообще флешкам дефрагментация? Гонять кусочки файлов туда-сюда, складывая как кирпички разрозненные данные на ненадежном носителе?

Это когда это флешки стали менее надёжными, чем жёсткие диски?

Увы, но флэшки не надёжны. Недавно моя загнулась, сам был свидетелем как чужие загибались.

[Flaming]

Всегда были. 10**5 циклов перезаписи. Дефрагментируйте чаще...

Ммм, но ведь пока эти циклы не прошли, флешка работает? И зато ею можно швыряться... и ничего. И магнитных полей не боится.
А дефрагментация-то как скажется на циклах перезаписи?

[/dev/random]

А дефрагментация-то как скажется на циклах перезаписи?

Ещё как. Во-первых, сама дефрагментация - это уйма циклов перезаписи. Во-вторых, на фрагментированной ФС данные рассовываются по разным частям флэшки, и она используется равномерно. А на дефрагментированной в основном используется начало раздела, и на нём могут "закончиться" циклы, в то время, как в хвост, возможно, ещё не писали ни разу. Впрочем, я слышал (из ненадёжных источников), что вторая проблема решена аппаратно.
И ещё: на ЖД фрагментация отрицательно сказывается на скорости работы, поскольку головке приходится мотаться туда-сюда. На флэшке нет головки.

[Ali1]

...
Ммм, но ведь пока эти циклы не прошли, флешка работает? И зато ею можно швыряться... и ничего. И магнитных полей не боится...

У всех свои недостатки.

...
А дефрагментация-то как скажется на циклах перезаписи?

Вы думаете, процесс упорядочивания фрагментов происходит в RAM ?

[Ali1]

Собственно вот статья : http://www.cifranews.ru/articles/2008/15/kg81503.html
....

Фрагментация под Linux: Настройка файловой системы Ext3
Приложения
ЗЫ ИХМО о e2fsprogs, dumpe2fs г. Шандриков не знал,типа.

Код: Выделить всё

# dd if=/dev/zero of=./test bs=4k count=8
8+0 записей считано
8+0 записей написано
 скопировано 32768 байт (33 kB), 0,000146625 c, 223 MB/c
# /usr/sbin/filefrag test
test: 3 extents found, perfection would be 1 extent
# cd /mnt/sysimage/
# cp ~/test ./
# /usr/sbin/filefrag -v test
Checking test
Filesystem type is: ef53
Filesystem cylinder groups is approximately 77
Blocksize of file test is 4096
File size of test is 32768 (8 blocks)
First block: 956976
Last block: 956983
test: 1 extent found
# df -m
Файловая система     1M-блоков      Исп  Доступно  Исп% смонтирована на
/dev/sda1                39900     30537      7304  81% /
/dev/sda11               30421     25349      5072  84% /mnt/vfat
tmpfs                     1499         1      1499   1% /dev/shm
/dev/sda8                 9845      4155      5191  45% /mnt/sysimage

[Full Null]

То что дефрагментация файловых систем в Linux не нужна - бред
Сидел недавно на ext3 и заметил сильное падение производительности при копированиие файлов. Скорость чтения многих файлов опустилась до ~8Мб/c! Пробовал проблемный файл копировать в тот же самый раздел, затем скопированный уже файл опять копировать. Невероятно, скорость стала нормальной, около 30Мб/c. Всё-таки есть фрагментация и ещё какая... Сейчас переделал /home в XFS, регулярно прогоняю утилитой xfs_fsr, производительность в норме

[Bluetooth]

хотелось бы услышать мнение от людей, администрирующих серваки на линукс а то какие-то перепалки в песочнице выходят.

[Flaming]

То что дефрагментация файловых систем в Linux не нужна - бред

А чем тогда дефрагментировать? Вручную?

[Full Null]

А чем тогда дефрагментировать? Вручную?

А ничем, потому что не предусмотрено разработчиками

[chitatel]

А чем тогда дефрагментировать? Вручную?

А ничем, потому что не предусмотрено разработчиками

Почему ничем? Есть для разных fs разные_же дефрагментаторы. Правда, эффективность таковых для ext3 у меня вызвала сомнение.

Пробовал shake и ещё что-то, названия не вспомню.

[Full Null]

Ага, пробовал я этот "дефрагментатор" shake. Зря только время потратил... Надеюсь, в ext4 будет нормальный штатный дефрагментатор, вот тогда и может быть подумаю о смене фс.

[Flaming]

А ничем, потому что не предусмотрено разработчиками sad.gif

Видимо, потому и не предусмотрено, потому что фрагментация не влияет на производительность... Лично я ничего не замечаю, специальных тестов не проводил, потому не могу ни подтвердить, ни опровергнуть данное заявление.

[chitatel]

Вот у меня сейчас в /home такая фрагментация:

Код: Выделить всё

12.1668945111332% non contiguous files, 2.47564561134104 average fragments.

Много это или мало - Х(то)З. Верить ли скрипту, который такое показывает - тоже ХЗ.

fs - ext3
/dev/sda7 42G 25G 18G 59% /home

[Torvinson]

То что дефрагментация файловых систем в Linux не нужна - бред

А чем тогда дефрагментировать? Вручную?

Конечно руками - полное копирование файлов на другой раздел, потом форматирование и обратное копирование Самый надежный способ.

Но говорят, что shake тоже не плох.

Вот, что ИБМ пишут: "Хотя ext3 не склонна к излишней фрагментации, файлы, хранящиеся в этой файловой системе, как правило, оказываются по крайней мере немного фрагментированными.".

[SV13]

Так случилось, что на ноутбуке остался раздел NTFS 120Gb, забитый всякой мультимедией, которая постоянно пишется-стирается. Если уж в Linux свои ФС (ext3) не считается нужным дефрагментировать, то что остается делать с NTFS-разделом? Форматировать? Или есть утилитки?

[drBatty]

Вот, что ИБМ пишут: "Хотя ext3 не склонна к излишней фрагментации, файлы, хранящиеся в этой файловой системе, как правило, оказываются по крайней мере немного фрагментированными.".

мне иногда кажется, что дефрагментация всё-таки есть... только она на каком-то низком уровне и её не заметить, файлы фрагментированы, но не сильно ИМХО. однако доказать этого я не могу. я про ext3

[Rusikk]

мне иногда кажется, что дефрагментация всё-таки есть... только она на каком-то низком уровне и её не заметить, файлы фрагментированы, но не сильно ИМХО. однако доказать этого я не могу. я про ext3

мне ещё нравится когда девушки говорят "я поставила диск на фрагментацию" ( )
Проблема фрагментации у меня может быть актуальной (если она такая существует) только на одном разделе, который частенько забивается полностью, потом чистится и снова забивается. Честно, упадка производительности не замечаю, хотя есть всеобщее торможение при записи на диск. Но, как я понял читая одну тему на этом форуме, это проблема в ядре.

[Flaming]

то что остается делать с NTFS-разделом? Форматировать? Или есть утилитки?

Есть. Под Windows. И много разных.

[theurs]

ФС - XFS, 1TB всего, меньше 100гб занято. диск ничем не озадачен, система на другом диске и качалки выключены

2 свежескаченных с торентов файла


sudo filefrag GRID.mdf
GRID.mdf: 9414 extents found
time cp GRID.mdf /dev/null
real 2m19.934s
user 0m0.248s
sys 0m9.925s

9414 кусков на 1 файл размером ~7гб, 140секунд на его отправку в /dev/null - 49мбвс

повторное time cp GRID.mdf /dev/null дает тот же результат +/-


sudo filefrag KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso
KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso: 6669 extents found
time cp KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso /dev/null

real 0m34.623s
user 0m0.032s
sys 0m1.044s

6669 кусков на 1 файл размером ~700мб, 34секунды на его отправку в /dev/null - 20 мбвс

еще раз time cp KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso /dev/null

real 0m0.373s
user 0m0.020s
sys 0m0.320s

меньше секунды

=============================

копирую эти файлы на этот же диск в другую папку

sudo filefrag GRID.mdf
GRID.mdf: 6 extents found
time cp GRID.mdf /dev/null
real 1m21.660s
user 0m0.228s
sys 0m9.193s
7гб, 6 фрагментов, 81 секунда - 86мбвс (было 49 почти 2х разница)
повтор - time cp GRID.mdf /dev/null - без изменений

sudo filefrag KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso
KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso: 1 extent found
time cp KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso /dev/null
real 0m8.447s
user 0m0.024s
sys 0m1.060s
700мб, 1 фрагмент, 8 секунд - 87мбвс (было 20 - 4х разница)
повторное time cp KNOPPIX_V6.0-ADRIANE_V1.1CD-2009-01-27-EN.iso /dev/null - меньше секунды

=============================

нет фрагментации или почти не влияет на скорость?

[rm_]

копирую эти файлы на этот же диск в другую папку

К сожалению эти эксперименты ничего не значат, поскольку только что скопированные файлы ещё лежат "горячими" в файловом кэше, а значит фактически читаются из ОЗУ.

Если по теме, фрагментация есть, с ней нужно бороться, это факт. Мне, кстати, именно поэтому очень нравится XFS, как единственная, имеющая на сегодня в штатной поставке онлайн-дефрагментатор. В ext4 говорят такой тоже будет - видимо тамошним разработчикам надоело отрицать очевидное.

theurs
Мини-совет: поковыряйте настройки торрент-клиента на предмет включения предварительного занятия (preallocate) свободного места перед скачиванием файла. Это поможет избавиться от того, что скачанные с торрентов файлы имеют такую дикую фрагментацию.

[theurs]

копирую эти файлы на этот же диск в другую папку

К сожалению эти эксперименты ничего не значат, поскольку только что скопированные файлы ещё лежат "горячими" в файловом кэше, а значит фактически читаются из ОЗУ.

7гб в кеш не помещается, одинаковые результаты при повторе это показывают. 700мб помещаются и результат сразу виден при повторе. не так?

theurs
Мини-совет: поковыряйте настройки торрент-клиента на предмет включения предварительного занятия (preallocate) свободного места перед скачиванием файла. Это поможет избавиться от того, что скачанные с торрентов файлы имеют такую дикую фрагментацию.

ну блин я рад, а то накаляет прямо безапеляционые заявления о том что в линуксе фрагментация волшебным образом отсутствует или почти не влияет на производительность

[SV13]

то что остается делать с NTFS-разделом? Форматировать? Или есть утилитки?

Есть. Под Windows. И много разных.

Шутник, однако...