малая скорость записи hdd на linux

[svetosvit]

Малая скорость записи hdd на linux
Скорость копирования на Linux Debian с жёткого на жёсткий (или с диска на этот же) примерно 30 Мб/c. на ext3 и ntfs
Скорость копирования на Windows Seven 80 Мб/c ntfs
В общем, линукс копирует в 2 раза медленней. (Как на внутренний диск так и на внешний usb)
Можжно как -то увеличить скорость копирования.

Жёсткие диски
ATA Hitachi
SATA Host Adapter
Wr Cache Enabled
120 Gb
Connection ATA

Seagate
Wr Cache Enabled
120 Gb
Connection USB 480 MB/s
500 Gb

И ещё по звуку слышно что внутренний Hitachi часто приостанавливается и запускается, например при просмотре картинок.

[Goodvin]

man hdparm

[svetosvit]

man hdparm

А можно инструкцию поподробней, С чего начать? А то так и жёсткий могу убить.

[Ism]

Такое возможно если у винта нестандартные секторы по 4 кб. Нужно будет переразбить по правилам

http://rlab.ru/doc/4k_hdd_for_linux.html

Будьте осторожны применяя эту статью

[Doublespace]

Вроде как линух должен поддерживать эти винты наравне с семеркой, проблемы у них в ХР. У WD так писали, хотя... надо у точнять с какой версии ядра. А у человека как раз ни одной wdшки

[svetosvit]

Вроде как линух должен поддерживать эти винты наравне с семеркой, проблемы у них в ХР. У WD так писали, хотя... надо у точнять с какой версии ядра. А у человека как раз ни одной wdшки

Ядро 2.6.38-2-686
(Deb wheezy testing)

[liaonau]

man hdparm

А можно инструкцию поподробней, С чего начать? А то так и жёсткий могу убить.

Начните с hdparm -ItT /dev/sda

[svetosvit]

hdparm -ItT /dev/sda

Код: Выделить всё

/dev/sda:

ATA device, with non-removable media
    Model Number:       Hitachi HTS541612J9SA00
    Serial Number:      SB2504H6C85J4E
    Firmware Revision:  SBDOC70P
Standards:
    Used: ATA/ATAPI-7 T13 1532D revision 1
    Supported: 7 6 5 4
Configuration:
    Logical        max    current
    cylinders    16383    16383
    heads        16    16
    sectors/track    63    63
    --
    CHS current addressable sectors:   16514064
    LBA    user addressable sectors:  234441648
    LBA48  user addressable sectors:  234441648
    Logical/Physical Sector size:           512 bytes
    device size with M = 1024*1024:      114473 MBytes
    device size with M = 1000*1000:      120034 MBytes (120 GB)
    cache/buffer size  = 7516 KBytes (type=DualPortCache)
Capabilities:
    LBA, IORDY(can be disabled)
    Queue depth: 32
    Standby timer values: spec'd by Vendor, no device specific minimum
    R/W multiple sector transfer: Max = 16    Current = 0
    Advanced power management level: 128
    Recommended acoustic management value: 128, current value: 254
    DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5
         Cycle time: min=120ns recommended=120ns
    PIO: pio0 pio1 pio2 pio3 pio4
         Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
    Enabled    Supported:
       *    SMART feature set
            Security Mode feature set
       *    Power Management feature set
       *    Write cache
       *    Look-ahead
       *    Host Protected Area feature set
       *    WRITE_BUFFER command
       *    READ_BUFFER command
       *    NOP cmd
       *    DOWNLOAD_MICROCODE
       *    Advanced Power Management feature set
            Power-Up In Standby feature set
       *    SET_FEATURES required to spinup after power up
            SET_MAX security extension
            Automatic Acoustic Management feature set
       *    48-bit Address feature set
       *    Device Configuration Overlay feature set
       *    Mandatory FLUSH_CACHE
       *    FLUSH_CACHE_EXT
       *    SMART error logging
       *    SMART self-test
       *    General Purpose Logging feature set
       *    WRITE_{DMA|MULTIPLE}_FUA_EXT
       *    64-bit World wide name
       *    IDLE_IMMEDIATE with UNLOAD
       *    Gen1 signaling speed (1.5Gb/s)
       *    Native Command Queueing (NCQ)
       *    Host-initiated interface power management
       *    Phy event counters
            Non-Zero buffer offsets in DMA Setup FIS
       *    DMA Setup Auto-Activate optimization
            Device-initiated interface power management
            In-order data delivery
       *    Software settings preservation
Security:
    Master password revision code = 65534
        supported
    not    enabled
    not    locked
    not    frozen
    not    expired: security count
    not    supported: enhanced erase
    72min for SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 5000cca544c3b7b1
    NAA        : 5
    IEEE OUI    : 000cca
    Unique ID    : 544c3b7b1
Checksum: correct
 Timing cached reads:   730 MB in  2.00 seconds = 365.12 MB/sec
 Timing buffered disk reads: 134 MB in  3.03 seconds =  44.25 MB/sec

/dev/sdb:

Код: Выделить всё

 HDIO_DRIVE_CMD(identify) failed: Invalid argument
 Timing cached reads:   812 MB in  2.00 seconds = 405.59 MB/sec
 Timing buffered disk reads:  74 MB in  3.03 seconds =  24.42 MB/sec

[sgfault]

Как вам уже советовали, уточните какие у вас сектора, и, если 4к, то выровняйте разделы. Уточнить размер сектора лучше всего на сайте производителя, но также это можно сделать с помощью dd.

Например, сначала попробуйте писать блоками по 512 байт:

Код: Выделить всё

dd if=/dev/zero of=/dev/sda bs=512 seek=XXX

и посмотрите скорость. А потом попробуйте писать блоками по 4к

Код: Выделить всё

dd if=/dev/zero of=/dev/sda bs=4096 seek=YYY

Размер блока bs указывается в байтах, смещение seek - в блоках (bs байт каждый), во втором тесте YYY должно быть кратно 8.

Обратите внимание, что эти тесты приведут К ПОТЕРИ ДАННЫХ по смещению seek. Поэтому смещение должно быть в неиспользуемую область диска.
Чтобы не ошибиться с вычислением смещения, можно пойти немного другим путем: создать новый раздел, выровняв его границу по 4к секторам. И затем записывать в этот раздел вот так

Код: Выделить всё

dd if=/dev/zero of=/dev/sdaX bs=4096

Также, вместо создания нового раздела можно использовать таблицы для device mapper-а.
Если у вас диск с 4к секторами, разница в скорости в тестах будет значительной (где-то в два-три раза).

PS. Ах да, и не верьте hdparm-у про 512-байтные сектора - врет он все -)

[svetosvit]

Благодарю за помощь.
Сначала подумаю, как освободить свободное место на дисках, т.к. резак у дисковода отказал.

Только вот что ещё: скорость записи не только на этих дисках, но и всех подключаемых через usb ниже в 2 раза по отношению к скорости винды. (То ли я дурак, то ли лыжи не едут)

[sgfault]

Только вот что ещё: скорость записи не только на этих дисках, но и всех подключаемых через usb ниже в 2 раза по отношению к скорости винды.

А вы, когда измеряли скорость usb диска, копировали данные с внутреннего диска? Попробуйте проверить скорость копирования из /dev/zero. Что-нибудь типа такого:

Код: Выделить всё

mount /dev/sdXY /mnt/usb-drive
dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

[mailman137]

Пока что в теме был внятно обрисован только

Hitachi HTS541612J9SA00

Сомневаюсь, что на 5K ноутбучном HDD образца 2006 года будут

нестандартные секторы по 4 кб

Что там у ТС вышло из-строя:

ибо дисковод накрылся

не вполне понятно.
Отчет hdparm (для упомянутого Hitachi) лично мне не очень нравится по признаку неполного отображения объема кэша
(впрочем это, может быть, какая-нибудь фича Hitachi)
и невозможности обращения к нескольким секторам одновременно

R/W multiple sector transfer: Max = 16 Current = 0

Впрочем, IMHO, hdparm вообще не средство рулить SATA HDD.

[svetosvit]

Только вот что ещё: скорость записи не только на этих дисках, но и всех подключаемых через usb ниже в 2 раза по отношению к скорости винды.

А вы, когда измеряли скорость usb диска, копировали данные с внутреннего диска? Попробуйте проверить скорость копирования из /dev/zero. Что-нибудь типа такого:

Код: Выделить всё

mount /dev/sdXY /mnt/usb-drive
dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

mount /dev/sdс2 /mnt/usb-drive
dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

ввёл команду - пару часов повисела командная строка - ни чего не отобразилось. закрыл.

[sgfault]

Только вот что ещё: скорость записи не только на этих дисках, но и всех подключаемых через usb ниже в 2 раза по отношению к скорости винды.

А вы, когда измеряли скорость usb диска, копировали данные с внутреннего диска? Попробуйте проверить скорость копирования из /dev/zero. Что-нибудь типа такого:

Код: Выделить всё

mount /dev/sdXY /mnt/usb-drive
dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

Копировал с внутреннего на внешний и с внешнего на внутренний. Вообще-то снижение скорости копирования под линем заметил ещё и в Мандриве пару лет назад.

mount /dev/sdс2 /mnt/usb-drive
dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

ввёл команду - пару часов повисела командная строка - ни чего не отобразилось. закрыл.

ээ.. прошу прощения, я думал, вы знаете, как работает dd. В том виде, что я написал, она копирует пока вы ее не остановите. Вам надо было нажать Ctrl-C, и тогда она бы вывела вам статистику. Либо послать SIGUSR1, чтобы посмотреть промежуточную статистику. Например, вот так

Код: Выделить всё

sgf@shilvana:~$ dd if=/dev/zero of=/mnt/zip/deb_sgf/test_file bs=512 &
[1] 3629
sgf@shilvana:~$ DD_PID=$!
sgf@shilvana:~$ kill -USR1 $DD_PID
sgf@shilvana:~$ 1110876+0 records in
1110876+0 records out
568768512 bytes (569 MB) copied, 9.10025 s, 62.5 MB/s

sgf@shilvana:~$ kill -USR1 $DD_PID
1361282+0 records in
1361282+0 records out
696976384 bytes (697 MB) copied, 12.0317 s, 57.9 MB/s
sgf@shilvana:~$
sgf@shilvana:~$ kill -TERM $DD_PID
sgf@shilvana:~$
[1]+  Terminated              dd if=/dev/zero of=/mnt/zip/deb_sgf/test_file bs=512
sgf@shilvana:~$

И не забудьте удалить файл test_file, который dd создает.

Потом.. Видимо, у вашего диска сектора все-таки обычные по 512байт - Hitachi Travelstar 5k160. Тем не менее, проверить скорость записи все равно стоит (только теперь уже выравнивание значения не имеет). Но прежде всего, попробуйте загрузиться с какого-нибудь liveCD и посмотреть будет ли там такая же скорость работы диска (внутреннего и внешнего).

[svetosvit]

Код: Выделить всё

dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512

Seagate (внешний, usb), NTFS

dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512
^C1092662+0 записей считано
1092662+0 записей написано
 скопировано 559442944 байта (559 MB), 128,725 c, 4,3 MB/c

Seagate (внешний, usb), ext4

dd if=/dev/zero of=/mnt/usb-drive/test_file bs=512
^C15975170+0 записей считано
15975170+0 записей написано
 скопировано 8179287040 байт (8,2 GB), 272,585 c, 30,0 MB/c

dd if=/dev/zero of=/mnt/ext/test_file bs=4096
^C723239+0 записей считано
723239+0 записей написано
 скопировано 2962386944 байта (3,0 GB), 123,573 c, 24,0 MB/c


Hitachi (внутренний), EXT4

dd if=/dev/zero of=/mnt/ext/test_file bs=512
^C7515720+0 записей считано
7515720+0 записей написано
 скопировано 3848048640 байт (3,8 GB), 122,756 c, 31,3 MB/c

dd if=/dev/zero of=/mnt/ext/test_file bs=512
^C10277262+0 записей считано
10277262+0 записей написано
 скопировано 5261958144 байта (5,3 GB), 172,304 c, 30,5 MB/c

Hitachi (внутренний), ntfs
dd if=/dev/zero of=/mnt/ext/test_file bs=512
^C803114+0 записей считано
803114+0 записей написано
 скопировано 411194368 байт (411 MB), 106,778 c, 3,9 MB/c

С live cd (open suse) то же самое.

[Ism]

Если писать большие объемы с линукса в ntfs , то могут быть большие тормоза, что предыдущий вывод и показывает.

И через usb скорость больше ~50 Мб не получите и это в идеальном случае. С поправками на обстоятельства вообще не больше 30

Другой вопрос, в каком режиме работает винт на IDE интерфейсе. Точнее в каком режиме IDE интерфейс

[svetosvit]

И через usb скорость больше ~50 Мб не получите и это в идеальном случае. С поправками на обстоятельства вообще не больше 30

Семёрка как-то получает. Максимум 80 при копировании больших файлов, а в среднем 50.

[eddy]

Семёрка как-то получает.

На USB-HDD у вас тоже NTFS?

Тогда не удивляйтесь, что оно так тормозит в линуксе...

[svetosvit]

Семёрка как-то получает.

На USB-HDD у вас тоже NTFS?

Тогда не удивляйтесь, что оно так тормозит в линуксе...

Один раздел ext4 а второй ntfs.

[eddy]

Один раздел ext4 а второй ntfs.

А без разделов какая скорость (простым dd на диск)?
// подозреваю, что ext4 тоже тормозная ФС

[svetosvit]

Один раздел ext4 а второй ntfs.

А без разделов какая скорость (простым dd на диск)?
// подозреваю, что ext4 тоже тормозная ФС

Информацию некуда скинуть, чтобы без разделов проверить.

[sgfault]

И через usb скорость больше ~50 Мб не получите и это в идеальном случае. С поправками на обстоятельства вообще не больше 30

Семёрка как-то получает. Максимум 80 при копировании больших файлов, а в среднем 50.
Проверено временем копирования одних и тех же файлов.

Если семерка вам говорит, что записывает на usb-диск со скорость 80 или 50 - не верьте ей, она врет (у вас же не usb 3.0?). Нормальная скорость на usb, как вам и написали, - это около 30 (даже, если теория с этим не согласна, на практике - это предел). Что касается записи на внутренний диск: бесплатная версия драйвера ntfs в линуксе (ntfs-3g) естественно хуже, чем драйвер Микрософт. И это тоже нормально. Однако, не все так плохо -)

Вот, как это работает у меня (usb-диск с ntfs):

Код: Выделить всё

root@shilvana:~# mount | grep sdb2
/dev/sdb2 on /mnt/hd type fuseblk (rw,allow_other,blksize=4096)
root@shilvana:~# dd if=/dev/zero of=/mnt/hd/test_file bs=512
^C258506+0 records in
258506+0 records out
132355072 bytes (132 MB) copied, 45.3918 s, 2.9 MB/s

Все также плохо, как и у вас. Но, обратите внимание, на 'blksize=4096'. А я ведь писал блоками по 512байт. Попробуем еще раз

Код: Выделить всё

root@shilvana:~# dd if=/dev/zero of=/mnt/hd/test_file bs=4096
^C130237+0 records in
130237+0 records out
533450752 bytes (533 MB) copied, 30.2718 s, 17.6 MB/s

Совсем другое дело -)


Вот здесь объяснено более подробно (Tuxera FAQ): Why is writing slow using ‘dd’, ‘amarok’ or ‘encfs’?
Посмотрите там также ответы на другие вопросы по поводу производительности.

Что касается записи на ext3 на внутреннем диске со скоростью 30мб/с - здесь явно что-то работает неправильно.

// подозреваю, что ext4 тоже тормозная ФС

eddy, вот ext3:

Код: Выделить всё

root@shilvana:~# mount | grep home
/dev/mapper/shilvana_user-home on /home type ext3 (rw)
root@shilvana:~# dd if=/dev/zero of=/home/test_file bs=4096
^C108179+0 records in
108179+0 records out
443101184 bytes (443 MB) copied, 6.36644 s, 69.6 MB/s

root@shilvana:~#
root@shilvana:~# sync
root@shilvana:~# dd if=/dev/zero of=/home/test_file bs=4096
^C101362+0 records in
101362+0 records out
415178752 bytes (415 MB) copied, 5.57198 s, 74.5 MB/s

root@shilvana:~# sync

А вот ext4:

Код: Выделить всё

root@shilvana:~# mount | grep root
/dev/mapper/shilvana_sys-root on / type ext4 (rw,errors=remount-ro)
root@shilvana:~# dd if=/dev/zero of=/test_file bs=4096
^C160017+0 records in
160017+0 records out
655429632 bytes (655 MB) copied, 7.46535 s, 87.8 MB/s
root@shilvana:~# sync
root@shilvana:~# dd if=/dev/zero of=/test_file bs=4096
^C216016+0 records in
216016+0 records out
884801536 bytes (885 MB) copied, 10.238 s, 86.4 MB/s

Ну как, сильно тормознутая?

[sgfault]

UPD
svetosvit, попробуйте на всякий случай писать на ext4 на внутреннем диске блоками, которые использует фс.
Видимо, сначала надо посмотреть размер блока (как-то так?)

Код: Выделить всё

root@shilvana:~# tune2fs  -l /dev/shilvana_sys/root | grep -i 'block size'
Block size:               4096

Ну и потом повторить тест

Код: Выделить всё

dd if=/dev/zero of=/test_file bs=4096

[svetosvit]

Код: Выделить всё

tune2fs  -l /dev/sda2 | grep -i 'block size'
Block size:               4096

На системном разделе - тот же размер.

Код: Выделить всё

root@solnce:/home/sva# dd if=/dev/sda2 of=/test_file bs=4096
^C293339+0 записей считано
293339+0 записей написано
 скопировано 1201516544 байта (1,2 GB), 90,1172 c, 13,3 MB/c

root@solnce:/home/sva# dd if=/dev/sda2 of=/test_file bs=4096
^C34539+0 записей считано
34539+0 записей написано
 скопировано 141471744 байта (141 MB), 6,54927 c, 21,6 MB/c

root@solnce:/home/sva# dd if=/dev/sda2 of=/test_file bs=4096
^C30000+0 записей считано
30000+0 записей написано
 скопировано 122880000 байт (123 MB), 4,59131 c, 26,8 MB/c

root@solnce:/home/sva# dd if=/dev/sda2 of=/test_file bs=4096
^C19172+0 записей считано
19172+0 записей написано
 скопировано 78528512 байт (79 MB), 2,73279 c, 28,7 MB/c

[eddy]

Ну как, сильно тормознутая?

Я же и сказал: "подозреваю". Т.к. с ext4 никогда вживую не сталкивался (и не собираюсь).

[Nazyvaemykh]

eddy, вроде как, уже в следующей Fedora основной файловой системой будет btrfs, там и другие дистрибутивы подтянтся. Так что скоро уже сможете использовать ext4.

[eddy]

вроде как, уже в следующей Fedora основной файловой системой будет btrfs, там и другие дистрибутивы подтянтся. Так что скоро уже сможете использовать ext4.

Зачем? И при чем здесь федора?
А я как использовал reiserfs, так и буду его использовать дальше. Пока не появится какой-нибудь действительно стóящей замены.

[sgfault]

Код: Выделить всё

tune2fs  -l /dev/sda2 | grep -i 'block size'
Block size:               4096

На системном разделе - тот же размер.

Код: Выделить всё

root@solnce:/home/sva# dd if=/dev/sda2 of=/test_file bs=4096
^C293339+0 записей считано
293339+0 записей написано
 скопировано 1201516544 байта (1,2 GB), 90,1172 c, 13,3 MB/c
...

Вы немного неправильно написали команду: у вас копирование идет из /dev/sda2, а не из /dev/zero. И это получилась скорость копирования из одного места на диске в фс на том же диске (хотя она все равно явно маловата). Надо было вот так

dd if=/dev/zero of=/test_file bs=4096

И еще, интересно, какую скорость показал тест ntfs с блоками по 4096 ?

[svetosvit]

Вы немного неправильно написали команду: у вас копирование идет из /dev/sda2, а не из /dev/zero. И это получилась скорость копирования из одного места на диске в фс на том же диске (хотя она все равно явно маловата). Надо было вот так

И вправду

Код: Выделить всё

root@solnce:/home/sva# dd if=/dev/zero of=/test_file bs=4096

^C32701+0 записей считано
32701+0 записей написано
 скопировано 133943296 байт (134 MB), 4,99396 c, 26,8 MB/c

root@solnce:/home/sva# dd if=/dev/zero of=/test_file bs=4096

И еще, интересно, какую скорость показал тест ntfs с блоками по 4096 ?

Код: Выделить всё

root@solnce:/home/sva# dd if=/dev/zero of=/mnt/usb-drive/test_file bs=4096
^C70583+0 записей считано
70583+0 записей написано
 скопировано 289107968 байт (289 MB), 8,72823 c, 33,1 MB/c

[sgfault]

В общем, скорость записи на ваш внутренний диск (ext4) явно слишком низкая. Пока магистры этого форума молчат, я могу предложить вам попробовать выключить NCQ.
Посмотрите вначале включена ли она сейчас

Код: Выделить всё

root@shilvana:~# dmesg | grep NCQ
[    1.140394] ata1.00: 1250263728 sectors, multi 16: LBA48 NCQ (depth 31/32), AA

Потом попробуйте поставить значения 2 или 1

Код: Выделить всё

root@shilvana:~# echo 1 > /sys/block/sda/device/queue_depth
...
root@shilvana:~# echo 2 > /sys/block/sda/device/queue_depth

и проверить скорость тем же тестом (dd if=/dev/zero of=/test_file bs=4096).
Говорят, для каких-то дисков это помогает SATA hard drives which show poor performance with sequential reads (e.g. hdparm -t).

А, да, и еще обращаю ваше внимание, чтобы вы внимательнее переписывали (а еще лучше, сами проверяли - я ведь тоже могу ошибиться) вызовы команды dd, - ошибка может привести к потере всех данных.