ОЧЕНЬ сильная фрагментация (ext3, торренты)

IDE, SATA, SCSI, внешние USB-HDD, SSD, USB-Flash накопители

Модератор: Модераторы разделов

Аватара пользователя
BaZilio
Сообщения: 457
Статус: Say оПХБЕР again!

ОЧЕНЬ сильная фрагментация

Сообщение BaZilio »

Я долгое время мучался с проблемой жутко медленной скорости чтения/записи с жёсткого диска и сумасшедше высокого %iowait. Потом поменял материнку, а затем и винт, слил свой /home (около 500 ГБ, в основном большие файлы) - и наслаждался великолепной скоростью передачи данных туда-сюда, пока сегодня, на свежескачанных файлах вновь не увидел 100% iowait и 4 МБ/с скорость копирования.
Задумался, и почитал о магической утилитке filefrag, которая говорит о кол-ве фрагментов файла на диске.
И ПРОСТО УЖАСНУЛСЯ!!!
Вот файл, который был скопирован последовательно обычным cp:

Код: Выделить всё

root@stormwind:~# filefrag /home/bazilio/torrent/Video/Perepoloh_v_obschage.2003.DVDRip.RUS+ENG.avi
/home/bazilio/torrent/Video/Perepoloh_v_obschage.2003.DVDRip.RUS+ENG.avi: 15 extents found, perfection would be 13 extents

Выглядит вполне нормально, и копируется с феноменальной скоростью в любое место - хоть на USB-HDD хоть в сеть.
А вот файл, который был скачан уже после переезда:

Код: Выделить всё

root@stormwind:~# filefrag /home/bazilio/torrent/pron/Love\ Hotel\ Die\ Serie\ \(1990s\).avi
/home/bazilio/torrent/pron/Love Hotel Die Serie (1990s).avi: 67937 extents found, perfection would be 8 extents

67937 фрагментов файла размером всего 900 МБ! Теперь понятно, почему он копируется со скоростью максимум 4 МБ/с!

Я уже понял, что в этом виноват Transmission 1.77, который по умолчанию не резервирует место на жёстком диске, а закачивает файлы как получится. Уже поправил настройки transmission, но что теперь делать с этими жутко фрагментированными файлами?

Правильно ли понял, то никаких утилит дефрагментации ext3 нет?
Если вдруг есть - подскажите пожалуйста!
И ещё - какую ФС кто посоветует для терабайтного винта под /home? Я смотрю пока что на XFS.

Windows XP:
Netbook - Acer Aspire One A150.
Debian Squeeze amd64:
Laptop - Acer TravelMate 5520G.
Laptop_work - Toshiba Satellite C660.
Windows 7 x64:
Desktop - Core2Duo 6600 2.4GHz/6 GB/i965/GeForce 9500GT.

4 the lulz!
Спасибо сказали:

math
Сообщения: 156
Статус: Ъ участник
ОС: Slackware GNU/Linux 13.1

Re: ОЧЕНЬ сильная фрагментация

Сообщение math »

BaZilio писал(а):
23.06.2010 22:40
Я долгое время мучался с проблемой жутко медленной скорости чтения/записи с жёсткого диска и сумасшедше высокого %iowait. Потом поменял материнку, а затем и винт, слил свой /home (около 500 ГБ, в основном большие файлы) - и наслаждался великолепной скоростью передачи данных туда-сюда, пока сегодня, на свежескачанных файлах вновь не увидел 100% iowait и 4 МБ/с скорость копирования.
Задумался, и почитал о магической утилитке filefrag, которая говорит о кол-ве фрагментов файла на диске.
И ПРОСТО УЖАСНУЛСЯ!!!
Вот файл, который был скопирован последовательно обычным cp:

Код: Выделить всё

root@stormwind:~# filefrag /home/bazilio/torrent/Video/Perepoloh_v_obschage.2003.DVDRip.RUS+ENG.avi
/home/bazilio/torrent/Video/Perepoloh_v_obschage.2003.DVDRip.RUS+ENG.avi: 15 extents found, perfection would be 13 extents

Выглядит вполне нормально, и копируется с феноменальной скоростью в любое место - хоть на USB-HDD хоть в сеть.
А вот файл, который был скачан уже после переезда:

Код: Выделить всё

root@stormwind:~# filefrag /home/bazilio/torrent/pron/Love\ Hotel\ Die\ Serie\ \(1990s\).avi
/home/bazilio/torrent/pron/Love Hotel Die Serie (1990s).avi: 67937 extents found, perfection would be 8 extents

67937 фрагментов файла размером всего 900 МБ! Теперь понятно, почему он копируется со скоростью максимум 4 МБ/с!

Я уже понял, что в этом виноват Transmission 1.77, который по умолчанию не резервирует место на жёстком диске, а закачивает файлы как получится. Уже поправил настройки transmission, но что теперь делать с этими жутко фрагментированными файлами?

Правильно ли понял, то никаких утилит дефрагментации ext3 нет?
Если вдруг есть - подскажите пожалуйста!
И ещё - какую ФС кто посоветует для терабайтного винта под /home? Я смотрю пока что на XFS.

Где-то на этом форуме уже проскакивало решеие этой проблемы: надо настроить torrent-клиент, чтобы место выделялось сразу под весь файл. И всего делов.
А уже фрагментированные файлы надо взять, скопировать, потом исходный удалить и переместить полученный обратно. Вроде должно помочь.
Спасибо сказали:

Аватара пользователя
BaZilio
Сообщения: 457
Статус: Say оПХБЕР again!

Re: ОЧЕНЬ сильная фрагментация

Сообщение BaZilio »

Вот тема на форуме Transmission об этом, и я уже сделал как там описано, завтра проверю обязательно.

Windows XP:
Netbook - Acer Aspire One A150.
Debian Squeeze amd64:
Laptop - Acer TravelMate 5520G.
Laptop_work - Toshiba Satellite C660.
Windows 7 x64:
Desktop - Core2Duo 6600 2.4GHz/6 GB/i965/GeForce 9500GT.

4 the lulz!
Спасибо сказали:

Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: ОЧЕНЬ сильная фрагментация

Сообщение rm_ »

Правильно ли понял, то никаких утилит дефрагментации ext3 нет?
Если вдруг есть - подскажите пожалуйста!

shake - кросс-ФСная программа дефрагментации. Не знаю, правда, какая у неё реально степень готовности к употреблению.
Может статься, что самым простым способом будет слить все файлы в другое место, пересоздать ФС, после чего залить всё обратно.

И ещё - какую ФС кто посоветует для терабайтного винта под /home? Я смотрю пока что на XFS.

XFS хороший выбор, там и дефрагментация штатная, работающая и хорошо оттестированная давным-давно есть (xfs_fsr).
Можно ещё Ext4, дефрагментация вроде бы тоже обещана (e4defrag), но здесь опять же непонятно, насколько она готова.
Спасибо сказали:

Аватара пользователя
red_dragon
Сообщения: 435
Статус: Ленивый энтузиаст
ОС: F12 x86_64

Re: ОЧЕНЬ сильная фрагментация

Сообщение red_dragon »

rm_ писал(а):
23.06.2010 23:15
...
Может статься, что самым простым способом будет слить все файлы в другое место, пересоздать ФС, после чего залить всё обратно.
...

Да вроде и не надо файловую систему пересоздавать. Достаточно простого копирования. Причём даже в пределах одного раздела, если место позволяет.
|^^^^^^^^^^^|______
|_____ПИВО_____|','''|'''''''''\____,,
|_______________| _|'____|____|
*'(@)'(@)'''''''|(@)(@)******|(@)*
Спасибо сказали:

Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: ОЧЕНЬ сильная фрагментация

Сообщение rm_ »

red_dragon писал(а):
24.06.2010 06:38
Достаточно простого копирования. Причём даже в пределах одного раздела, если место позволяет.

В общем да, это по большей части решит проблему, но не до конца - ведь если файлы так фрагментированы, то и свободное место тоже, а значит копированием можно и ничего не добиться. Вот если бы перенести все фрагментированные файлы на другой раздел, а потом обратно - тогда шансов больше.
Спасибо сказали:

Аватара пользователя
BaZilio
Сообщения: 457
Статус: Say оПХБЕР again!

Re: ОЧЕНЬ сильная фрагментация

Сообщение BaZilio »

Спасибо за советы, сейчас солью содержимое /home куда-то рядом, и пересоздам раздел в XFS.

Windows XP:
Netbook - Acer Aspire One A150.
Debian Squeeze amd64:
Laptop - Acer TravelMate 5520G.
Laptop_work - Toshiba Satellite C660.
Windows 7 x64:
Desktop - Core2Duo 6600 2.4GHz/6 GB/i965/GeForce 9500GT.

4 the lulz!
Спасибо сказали:

Аватара пользователя
BaZilio
Сообщения: 457
Статус: Say оПХБЕР again!

Re: ОЧЕНЬ сильная фрагментация

Сообщение BaZilio »

Кажется, помогло.
Включил full preallocation в Transmission, и теперь после завершения закачки файл занимает 1 extent. Великолепно!

Ну и наличие дефрагментатора в XFS само по себе греет душу.

Windows XP:
Netbook - Acer Aspire One A150.
Debian Squeeze amd64:
Laptop - Acer TravelMate 5520G.
Laptop_work - Toshiba Satellite C660.
Windows 7 x64:
Desktop - Core2Duo 6600 2.4GHz/6 GB/i965/GeForce 9500GT.

4 the lulz!
Спасибо сказали:

Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ОЧЕНЬ сильная фрагментация

Сообщение drBatty »

math писал(а):
23.06.2010 22:43
Где-то на этом форуме уже проскакивало решеие этой проблемы: надо настроить torrent-клиент, чтобы место выделялось сразу под весь файл. И всего делов.

это плохое решение, есть лучше: надо иметь 2 раздела, у меня /var, в котором всё меняющеся, и /home, в котором кино и прочее скаченное.
1) временный каталог где-то в /var, там всё постоянно меняется, и велика фрагментация
2) а после закачки файл переносится в /home, и фрагментации там уже нет

Это позволяет использовать разрежённые временные файл, что сильно экономит место (для торрента может и не очень, но для ED2K - в несколько раз, у меня общий размер временных файлов в разы больше всего раздела, где они лежат!)

...А XFS у меня рухнула. это не показатель конечно... но EXT3 не падает.

BaZilio писал(а):
28.06.2010 20:03
Ну и наличие дефрагментатора в XFS само по себе греет душу.

огромный плюс LinuxFS - то, что там не нужен дефрагментатор. Хотя мой способ подходит и для Windows+NTFS.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:

Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: ОЧЕНЬ сильная фрагментация

Сообщение rm_ »

есть лучше: надо иметь 2 раздела, у меня /var, в котором всё меняющеся, и /home, в котором кино и прочее скаченное.

Решение нормальное, только лучше не два раздела, а два разных жёстких диска.

А XFS у меня рухнула. это не показатель конечно...

Ну так к чему разводить FUD? Без подробностей (да и с ними, единичный случай - это ни о чём), могу разве что ответить, что это у вас руки.

огромный плюс LinuxFS - то, что там не нужен дефрагментатор.

Это что за ФС такая сказочная, впервые слышу. Везде он нужен, вообще-то.
Спасибо сказали:

math
Сообщения: 156
Статус: Ъ участник
ОС: Slackware GNU/Linux 13.1

Re: ОЧЕНЬ сильная фрагментация

Сообщение math »

BaZilio писал(а):
28.06.2010 20:03
Ну и наличие дефрагментатора в XFS само по себе греет душу.

rm_ писал(а):
29.06.2010 08:00
Это что за ФС такая сказочная, впервые слышу. Везде он нужен, вообще-то.

Несмотря ни на что я продолжаю твёрдо верить, что дефрагментатора для ext3 и reiserfs нет потому и только потому, что он не нужен, так как это самодефрагментирующиеся ФС, и что все заявления о его необходимости - следствие происков вражеских агентов.
Спасибо сказали:

Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: ОЧЕНЬ сильная фрагментация

Сообщение rm_ »

самодефрагментирующиеся ФС

Это наверное как скатерть-самобранка или гусли-самогуды :D
В реальности же, самую щедрую характеристику, которую можно с натяжкой к ней применить - это что-нибудь типа "attempts to keep fragmentation at a minimum". Но далеко не всегда ей это удаётся, особенно если вы туда качаете торренты. Или даже если не качаете, а просто, долго и активно добавляете и удаляете данные, особенно при свободном месте менее 30-50% (типичный сценарий, например, для корневой ФС постоянно обновляемой системы - и устранять эту фрагментацию без онлайн-дефрагментатора крайне неудобно).
Спасибо сказали:

Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ОЧЕНЬ сильная фрагментация

Сообщение drBatty »

rm_ писал(а):
29.06.2010 08:00
Это что за ФС такая сказочная, впервые слышу. Везде он нужен, вообще-то.


имелось ввиду НЕ-windows FS. Коих я знаю 2шт, и обе нуждаются в дефрагментаторе.
rm_ писал(а):
30.06.2010 08:12
В реальности же, самую щедрую характеристику, которую можно с натяжкой к ней применить - это что-нибудь типа "attempts to keep fragmentation at a minimum". Но далеко не всегда ей это удаётся, особенно если вы туда качаете торренты.


удаётся. например используя предложенную мной схему.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали: