Опять про скорость жесткого диска (Нужна помощь клуба)

IDE, SATA, SCSI, внешние USB-HDD, SSD, USB-Flash накопители

Модератор: Модераторы разделов

dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Опять про скорость жесткого диска

Сообщение dimapv70 »

Добрый день,

Ситуация уже поднималась в нете, но я не уверен что это мой случай... В общем, описание проблемы:

У меня ноут acer c диском WD3200BEVT. Диск был разбит пополам, и было скрыто, кажется, 8Гб под автовосстановление, стояла ms vista. Когда она меня достала (ms), решил попробовать перейти на Linux, выбрал Debian 6.0.1. Для этого один раздел переформатировал в ext3, разбивал самим установщиком Debian. Поработал, решил перейти полностью и удалил первый и скрытый разделы, объединил их и отформатировал в ext4.
Проблема заключается в:
1. Крайне низкой скоростью копирования с ext3 на ext4 - 3,5Мб/с, комп подвисает, замирает периодически.
2. Копирование на флешку идет с большими замираниями - это не так важно, просто для информации

Дисковая утилита говорит, что диск полностью исправен данные Smart - все в шоколаде.

Я не являюсь большим специалистом в области программирования или администрирования, поэтому сам лезть боюсь (потерять все данные на винте, работаю почти год)

Помогите, пожалуйста, разобраться в вопросе и настроить ноут.

p.s. Про проблему 4К секторов читал, но сам что-то делать не решаюсь, по причинам, изложенным выше. Поможете?
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение drBatty »

dimapv70 писал(а):
11.02.2012 20:02
Про проблему 4К секторов читал

ссылку дайте
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

drBatty писал(а):
11.02.2012 20:20
dimapv70 писал(а):
11.02.2012 20:02
Про проблему 4К секторов читал

ссылку дайте


Вот из самого лучшего (наверное) http://rlab.ru/doc/4k_hdd_for_linux.html
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение drBatty »

dimapv70 писал(а):
11.02.2012 20:26
Вот из самого лучшего (наверное) http://rlab.ru/doc/4k_hdd_for_linux.html

ничего похожего на
dimapv70 писал(а):
11.02.2012 20:02
Крайне низкой скоростью копирования с ext3 на ext4 - 3,5Мб/с, комп подвисает, замирает периодически.

там нет. Похоже вы не туда копаете.
сделайте бекап, и распилите весь диск по новой.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

drBatty писал(а):
11.02.2012 20:54
dimapv70 писал(а):
11.02.2012 20:26
Вот из самого лучшего (наверное) http://rlab.ru/doc/4k_hdd_for_linux.html

ничего похожего на
dimapv70 писал(а):
11.02.2012 20:02
Крайне низкой скоростью копирования с ext3 на ext4 - 3,5Мб/с, комп подвисает, замирает периодически.

там нет. Похоже вы не туда копаете.
сделайте бекап, и распилите весь диск по новой.


Забыл сказать - есть внешний накопитель, подключаю через esata - там ntfs и диск seagate на 1,5 Тб скорость записи 20Мб/с.
Сделать все заново можно, был бы результат, а вот в нем-то и не уверен, поскольку причину не знаю.
Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

Проверьте для начала скорость самого диска с помощью dd. Обратите внимание, что на разделе, где вы будуте проводить этот эксперимент, _ВСЕ_ данные будут _УНИЧТОЖЕНЫ_. Поэтому для экспериментов можно сделать новый раздел. Номер сектора начала раздела должен быть кратен 8. Затем попробуйте, например, проверить размер сектора (4к или 512):

Код: Выделить всё

# dd if=/dev/zero of=/dev/sdaX bs=512 count=409600
# dd if=/dev/zero of=/dev/sdaX bs=4096 count=51200

если скорость будет сильно отличаться (во втором случае больше), значит сектора 4к. Если нет - 512. Еще можно использовать разное смещение

Код: Выделить всё

# dd if=/dev/zero of=/dev/sdaX seek=63 bs=4096 count=51200
# dd if=/dev/zero of=/dev/sdaX seek=64 bs=4096 count=51200

и тоже сравниваете скорость. Если у вас сектора 4к, начала (первый сектор) всех разделов должны быть кратны 8. Если во всех тестах выше скорость будет низкая и примерно одинаковая, тогда.. в общем, такого быть не должно )
И только после того, как вы убедитесь, что с диска (без фс) скорость чтения нормальная, можно проверять скорость чтения с фс.
Если будете это делать, то все логи (в том числе `fdisk -u -l`), выкладывайте сюда.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Опять про скорость жесткого диска

Сообщение Bizdelnick »

dimapv70 писал(а):
11.02.2012 20:02
Про проблему 4К секторов читал, но сам что-то делать не решаюсь, по причинам, изложенным выше. Поможете?

sudo fdisk -lu - ?
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Bizdelnick писал(а):
12.02.2012 01:42
dimapv70 писал(а):
11.02.2012 20:02
Про проблему 4К секторов читал, но сам что-то делать не решаюсь, по причинам, изложенным выше. Поможете?

sudo fdisk -lu - ?


Сделал

Код: Выделить всё

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1              63   322826174   161413056   83  Linux
/dev/sda3       322828288   621265787   149219752   83  Linux
Warning: Partition 3 does not end on cylinder boundary.
/dev/sda4       621266942   625141759     1935832    5  Extended
Warning: Partition 4 does not end on cylinder boundary.
/dev/sda5       621266944   625141759     1935832   82  Linux swap
Warning: Partition 5 does not end on cylinder boundary.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Опять про скорость жесткого диска

Сообщение Bizdelnick »

sda3 начинается с "правильного" сектора. Если проблема проявляется и на нём, то дело в чём-то другом.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Bizdelnick писал(а):
12.02.2012 12:05
sda3 начинается с "правильного" сектора. Если проблема проявляется и на нём, то дело в чём-то другом.


sda3 это основной загрузочный раздел (там всё). Дисковая утилита показывает скорость чтения от 30 до 60 Мб/с и среднее время доступа 25,7 ms

Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 bs=512 count=409600

409600+0 записей считано
409600+0 записей написано
скопировано 209715200 байт (210 MB), 15,8682 c, 13,2 MB/c

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 1,74029 c, 121 MB/c

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 seek=63 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 1,73226 c, 121 MB/c


Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 seek=64 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 2,2394 c, 93,6 MB/c



Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

dimapv70 писал(а):
12.02.2012 12:29

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 bs=512 count=409600

409600+0 записей считано
409600+0 записей написано
скопировано 209715200 байт (210 MB), 15,8682 c, 13,2 MB/c

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 1,74029 c, 121 MB/c

Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 seek=63 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 1,73226 c, 121 MB/c


Код: Выделить всё

# dd if=/dev/zero of=/dev/sda1 seek=64 bs=4096 count=51200

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 2,2394 c, 93,6 MB/c

Как вы, наверно, и сами уже поняли, это означает, что у вас 4к сектора (вторая пара тестов в данном случае не показательна, тк ваш sda1 начинается с 63 сектора, те и со смещением 63, и со смещением 64 запись была сразу в два физических сектора), и со скоростью записи на диск у вас все в порядке.

Теперь вам нужно сделать начала всех разделов кратными 8 (в данном случае, эти все - это sda1 (он должен начинаться, например, с 64 сектора); насчет расширенного (sda4) я не уверен, но скорей всего не имеет значения). Кроме того, как вам уже ответил Bizdelnick, если запись на фс на sda3, который у вас уже выровнен правильно, идет с нормальной скоростью, значит все в порядке. Проверить скорость записи на фс можно, например, так (запись будет в файл 1.tmp на фс):

Код: Выделить всё

$ dd if=/dev/zero of=/mnt/SDA3_MOUNT_POINT/1.tmp bs=4096 count=51200
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Код: Выделить всё

$ dd if=/dev/zero of=/mnt/SDA3_MOUNT_POINT/1.tmp bs=4096 count=51200


Вот результат

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 2,07952 c, 101 MB/c

Я правильно понимаю, что 101 Мб/с это реальная скорость копирования? Если да, то почему в наутилусе средняя скорость копирования больших файлов 10-15 Мб/с (внутри одного раздела, sda3)?
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение drBatty »

dimapv70 писал(а):
12.02.2012 16:20
Я правильно понимаю, что 101 Мб/с это реальная скорость копирования?

нет. Что-бы файл считать "большим", он должен быть заведомо больше RAM-памяти. У вас 128Мб ОЗУ?
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

drBatty писал(а):
12.02.2012 17:21
dimapv70 писал(а):
12.02.2012 16:20
Я правильно понимаю, что 101 Мб/с это реальная скорость копирования?

нет. Что-бы файл считать "большим", он должен быть заведомо больше RAM-памяти. У вас 128Мб ОЗУ?


ОЗУ 2гига... Но когда я писал про "большие файлы" я имел в виду 500-1000 Мбайт. Такие файлы копируются внутри раздела sda3 со скоростью 10-15 Мбайт/с.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение drBatty »

dimapv70 писал(а):
12.02.2012 17:37
ОЗУ 2гига... Но когда я писал про "большие файлы" я имел в виду 500-1000 Мбайт. Такие файлы копируются внутри раздела sda3 со скоростью 10-15 Мбайт/с.

они вообще говоря могут и НЕ копироваться, если не делать sync после каждой операции. отложенная запись же...
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

drBatty писал(а):
12.02.2012 18:18
dimapv70 писал(а):
12.02.2012 17:37
ОЗУ 2гига... Но когда я писал про "большие файлы" я имел в виду 500-1000 Мбайт. Такие файлы копируются внутри раздела sda3 со скоростью 10-15 Мбайт/с.

они вообще говоря могут и НЕ копироваться, если не делать sync после каждой операции. отложенная запись же...


Это понятно... только это только усугубляет проблему... Вы ведь не будете возражать, что "в роте не порядок"...
Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

Попробуйте добавить опцию conv=fsync к последнему тесту. Может быть, это приблизит скорость к реальной. Но, в любом случае, этот тест показывает не скорость копирования из одного места на диске в другое, а скорость копирования _откуда-то вне диска_ на диск. Те скорость копирования из одного места на диске в другое большого файла будет в лучшем случае в два раза меньше (а обычно еще меньше). Но 10-15 все равно слишком мало. Покажите информацию о файле

Код: Выделить всё

$ ls -lh <filename>
$ /usr/sbin/filefrag  <filename>

А заодно покажите информацию о фс

Код: Выделить всё

# tune2fs -l /dev/sda3

И еще покажите скорость чтения этого файла

Код: Выделить всё

$ dd if=<filename> of=/dev/null bs=4096

Upd.
И еще покажите
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Код: Выделить всё

 sudo dd if=/dev/zero of=/mnt/1.tmp bs=4096 count=51200 conv=fsync


51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 7,31305 c, 28,7 MB/c

Код: Выделить всё

ls -lh /mnt/1.tmp

-rw-r--r-- 1 root root 200M Фев 12 21:48 /mnt/1.tmp

Код: Выделить всё

 /usr/sbin/filefrag /mnt/1.tmp

/mnt/1.tmp: 183 extents found, perfection would be 1 extent

Код: Выделить всё

 tune2fs -l /dev/sda3


/sbin/tune2fs -l /dev/sda3
tune2fs 1.41.12 (17-May-2010)
Filesystem volume name: <none>
Last mounted on: <not available>
Filesystem UUID: 69a89ed5-3339-4d71-b30d-3a473b0ae5a9
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery sparse_super large_file
Filesystem flags: signed_directory_hash
Default mount options: (none)
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 9330688
Block count: 37304687
Reserved block count: 1865234
Free blocks: 2673550
Free inodes: 8894649
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 1015
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8192
Inode blocks per group: 512
Filesystem created: Tue Mar 29 17:37:29 2011
Last mount time: Sun Feb 12 11:00:07 2012
Last write time: Wed Feb 1 12:19:47 2012
Mount count: 20
Maximum mount count: 30
Last checked: Wed Feb 1 12:19:47 2012
Check interval: 15552000 (6 months)
Next check after: Mon Jul 30 12:19:47 2012
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 2769799
Default directory hash: half_md4
Directory Hash Seed: 22631791-c36d-44df-92fc-1ae92b20a809
Journal backup: inode blocks


Код: Выделить всё

dd if=/mnt/1.tmp of=/dev/null bs=4096

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 0,143459 c, 1,5 GB/c



Файловая система Разм Исп Дост Исп% смонтирована на
/dev/sda3 141G 131G 2,7G 98% /
tmpfs 1011M 0 1011M 0% /lib/init/rw
udev 1007M 252K 1007M 1% /dev
tmpfs 1011M 0 1011M 0% /dev/shm
/dev/sda1 64Z 64Z 152G 100% /home/dimapv/wh


Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

dimapv70 писал(а):
12.02.2012 22:06

Код: Выделить всё

 sudo dd if=/dev/zero of=/mnt/1.tmp bs=4096 count=51200 conv=fsync


51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 7,31305 c, 28,7 MB/c

Вообще, 30мб/с малова-то. И пополам (при копировании с одного места на диске/фс в другое) это как раз и будут те самые 10-15мб/с.

dimapv70 писал(а):
12.02.2012 22:06

Код: Выделить всё

ls -lh /mnt/1.tmp

-rw-r--r-- 1 root root 200M Фев 12 21:48 /mnt/1.tmp

Код: Выделить всё

 /usr/sbin/filefrag /mnt/1.tmp

/mnt/1.tmp: 183 extents found, perfection would be 1 extent

Размер каждого фрагмента ~1мб. По меньшей мере, уже можно начинать думать о дефрагментации.

dimapv70 писал(а):
12.02.2012 22:06

Код: Выделить всё

 tune2fs -l /dev/sda3


/sbin/tune2fs -l /dev/sda3
tune2fs 1.41.12 (17-May-2010)
Filesystem volume name: <none>
Last mounted on: <not available>
Filesystem UUID: 69a89ed5-3339-4d71-b30d-3a473b0ae5a9
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery sparse_super large_file
Filesystem flags: signed_directory_hash
Default mount options: (none)
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 9330688
Block count: 37304687
Reserved block count: 1865234
Free blocks: 2673550
Free inodes: 8894649
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 1015
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8192
Inode blocks per group: 512
Filesystem created: Tue Mar 29 17:37:29 2011
Last mount time: Sun Feb 12 11:00:07 2012
Last write time: Wed Feb 1 12:19:47 2012
Mount count: 20
Maximum mount count: 30
Last checked: Wed Feb 1 12:19:47 2012
Check interval: 15552000 (6 months)
Next check after: Mon Jul 30 12:19:47 2012
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 2769799
Default directory hash: half_md4
Directory Hash Seed: 22631791-c36d-44df-92fc-1ae92b20a809
Journal backup: inode blocks

Это ведь ext3, да? Можете попробовать перейти на ext4. Обычно, она работает быстрее.

dimapv70 писал(а):
12.02.2012 22:06

Код: Выделить всё

dd if=/mnt/1.tmp of=/dev/null bs=4096

51200+0 записей считано
51200+0 записей написано
скопировано 209715200 байт (210 MB), 0,143459 c, 1,5 GB/c


Файловая система Разм Исп Дост Исп% смонтирована на
/dev/sda3 141G 131G 2,7G 98% /
tmpfs 1011M 0 1011M 0% /lib/init/rw
udev 1007M 252K 1007M 1% /dev
tmpfs 1011M 0 1011M 0% /dev/shm
/dev/sda1 64Z 64Z 152G 100% /home/dimapv/wh

В случае с сильной фрагментации фс на sda3 2.7G свободного места мало.

В общем, я думаю, скорость sda3 можно увеличить, если:
- сделать дефрагментацию (для ext3/4 это означает скопировать _все_ файлы с фс куда-то (раздел должен стать пустым), а потом их снова записать).
- перейти на ext4.
Что касается sda1, то он у вас даже не выровнен, и там скорость в любом случае будет _очень_ низкой. Прежде, чем делать что-то с основным разделом, вы можете попробовать создать новый раздел с ext4 (или ext3), записать туда большие файлы (фрагментации в этом случае не будет), и посмотреть на скорость чтения файлов с этого раздела и на скорость копирования файлов внутри этого раздела (фс). Чтение/запись должна быть где-то 40-60, копирвание 20-30 соответственно.
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Спасибо, буду пробовать! Если не вернусь, прошу считать меня....в общем, не получилось...:)
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Короче, не стал я проводить эксперименты на рабочем винте. Под столом стоял celeron 1,6, поставил два винта по 40Гб Seagate и поставил с нуля Debian, сначала. Скорость копирования - как на дискете (если кто помнит, 3дюйма с четвертью, 5,25....) Утрирую, конечно, но не сильно. 7-10-15 да и 40Мб/сек - это как-то не правильно... Ставил еще Fedora последнюю - также. Прочитал, что Oracle выпустил новый "крутой", как поросячий хвостик серверный, высокопроизводительный линух - поставил. 15Мб/сек... Нет, причина не в железе и не в дистрах а не ядро ли это? До обновления ядра, возможно 2.6.30 на 31 вроде было все в порядке. Я конечно, тестов не проводил, но ноут у меня тогда не подвисал (собственно, по этой причине сейчас и начал копать).

Что скажете?
Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

dimapv70 писал(а):
27.02.2012 23:00
Короче, не стал я проводить эксперименты на рабочем винте. Под столом стоял celeron 1,6, поставил два винта по 40Гб Seagate и поставил с нуля Debian, сначала. Скорость копирования - как на дискете (если кто помнит, 3дюйма с четвертью, 5,25....) Утрирую, конечно, но не сильно. 7-10-15 да и 40Мб/сек - это как-то не правильно... Ставил еще Fedora последнюю - также. Прочитал, что Oracle выпустил новый "крутой", как поросячий хвостик серверный, высокопроизводительный линух - поставил. 15Мб/сек... Нет, причина не в железе и не в дистрах а не ядро ли это? До обновления ядра, возможно 2.6.30 на 31 вроде было все в порядке. Я конечно, тестов не проводил, но ноут у меня тогда не подвисал (собственно, по этой причине сейчас и начал копать).

Что скажете?

Вы, когда переустанавливали, раздел отформатировали? И выравнивание, если оно было нужно, сделали правильно?
Если все так, то попробуйте установить какой-нибудь старый дистр, чтобы ядро было не 30-31 (или сами соберите старую версию). Если же вы уверены, что проблема в ядре, те именно, что какая-то часть _драйвера_ ext3 работает _медленнее_, чем ваш жесткий диск, то проверьте скорость на рамдиске. Например, как-нибудь так:

Код: Выделить всё

# mount -t tmpfs tmpfs /mnt/zip -o size=2g
# grep /proc/mounts -e '/zip'
tmpfs /mnt/zip tmpfs rw,relatime,size=2097152k 0 0
# dd if=/dev/zero of=/mnt/zip/1.tmp bs=4096 count=262144 conv=fsync
262144+0 records in
262144+0 records out
1073741824 bytes (1.1 GB) copied, 1.17053 s, 917 MB/s
# losetup -f /mnt/zip/1.tmp
# losetup -a
/dev/loop0: [0015]:12608241 (/mnt/zip/1.tmp)
# mkfs.ext3 /dev/loop0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
<...>
# losetup -d /dev/loop0
# mount /mnt/zip/1.tmp /mnt/hd/ -o loop
# grep /proc/mounts -e '/hd'
/dev/loop0 /mnt/hd ext3 rw,relatime,errors=continue,data=ordered 0 0
# cp  /home/sgf/Videos/anime/Requiem_for_the_Phantom/Phantom_Requiem_for_the_Phantom-01.mp4   /mnt/hd/1.mp4
# ls -lh /mnt/hd/
total 370M
-r--r----- 1 root root 369M Feb 28 00:23 1.mp4
drwx------ 2 root root  16K Feb 28 00:19 lost+found
# dd if=/mnt/hd/1.mp4 of=/mnt/hd/2.mp4 bs=4096 conv=fsync
94400+1 records in
94400+1 records out
386663308 bytes (387 MB) copied, 1.61377 s, 240 MB/s
# ls -lh /mnt/hd/
total 739M
-r--r----- 1 root root 369M Feb 28 00:23 1.mp4
-rw-r----- 1 root root 369M Feb 28 00:24 2.mp4
drwx------ 2 root root  16K Feb 28 00:19 lost+found

Если у вас и тут копирование будет со скоростью 15мб/с, тогда это будет странно. А если нет, то я бы снова искал проблему в жестком диске.
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

sgfault писал(а):
28.02.2012 00:31
dimapv70 писал(а):
27.02.2012 23:00
Короче, не стал я проводить эксперименты на рабочем винте. Под столом стоял celeron 1,6, поставил два винта по 40Гб Seagate и поставил с нуля Debian, сначала. Скорость копирования - как на дискете (если кто помнит, 3дюйма с четвертью, 5,25....) Утрирую, конечно, но не сильно. 7-10-15 да и 40Мб/сек - это как-то не правильно... Ставил еще Fedora последнюю - также. Прочитал, что Oracle выпустил новый "крутой", как поросячий хвостик серверный, высокопроизводительный линух - поставил. 15Мб/сек... Нет, причина не в железе и не в дистрах а не ядро ли это? До обновления ядра, возможно 2.6.30 на 31 вроде было все в порядке. Я конечно, тестов не проводил, но ноут у меня тогда не подвисал (собственно, по этой причине сейчас и начал копать).

Что скажете?

Вы, когда переустанавливали, раздел отформатировали? И выравнивание, если оно было нужно, сделали правильно?
Если все так, то попробуйте установить какой-нибудь старый дистр, чтобы ядро было не 30-31 (или сами соберите старую версию). Если же вы уверены, что проблема в ядре, те именно, что какая-то часть _драйвера_ ext3 работает _медленнее_, чем ваш жесткий диск, то проверьте скорость на рамдиске. Например, как-нибудь так:

Код: Выделить всё

# mount -t tmpfs tmpfs /mnt/zip -o size=2g
# grep /proc/mounts -e '/zip'
tmpfs /mnt/zip tmpfs rw,relatime,size=2097152k 0 0
# dd if=/dev/zero of=/mnt/zip/1.tmp bs=4096 count=262144 conv=fsync
262144+0 records in
262144+0 records out
1073741824 bytes (1.1 GB) copied, 1.17053 s, 917 MB/s
# losetup -f /mnt/zip/1.tmp
# losetup -a
/dev/loop0: [0015]:12608241 (/mnt/zip/1.tmp)
# mkfs.ext3 /dev/loop0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
<...>
# losetup -d /dev/loop0
# mount /mnt/zip/1.tmp /mnt/hd/ -o loop
# grep /proc/mounts -e '/hd'
/dev/loop0 /mnt/hd ext3 rw,relatime,errors=continue,data=ordered 0 0
# cp  /home/sgf/Videos/anime/Requiem_for_the_Phantom/Phantom_Requiem_for_the_Phantom-01.mp4   /mnt/hd/1.mp4
# ls -lh /mnt/hd/
total 370M
-r--r----- 1 root root 369M Feb 28 00:23 1.mp4
drwx------ 2 root root  16K Feb 28 00:19 lost+found
# dd if=/mnt/hd/1.mp4 of=/mnt/hd/2.mp4 bs=4096 conv=fsync
94400+1 records in
94400+1 records out
386663308 bytes (387 MB) copied, 1.61377 s, 240 MB/s
# ls -lh /mnt/hd/
total 739M
-r--r----- 1 root root 369M Feb 28 00:23 1.mp4
-rw-r----- 1 root root 369M Feb 28 00:24 2.mp4
drwx------ 2 root root  16K Feb 28 00:19 lost+found

Если у вас и тут копирование будет со скоростью 15мб/с, тогда это будет странно. А если нет, то я бы снова искал проблему в жестком диске.


Ну конечно, делал разбиение и 2 винта поставил, чтобы на одном физическом делать эксперименты. Выравнивание там не нужно, т.к. винты древние.

Сделал то, что вы предложили, НА СВОЕМ НОУТЕ, вот результат:

Код: Выделить всё

root@ddd-debian:/home/dimapv# ls -lh /mnt/hd/
итого 426M
-rw------- 1 root root 426M Фев 28 18:15 1.mkv
drwx------ 2 root root  16K Фев 28 18:10 lost+found
root@ddd-debian:/home/dimapv# dd if=/mnt/hd/1.mkv of=/mnt/hd/2.mkv bs=4096 conv=fsyncD
dd: недопустимое преобразование: «fsyncD»
Попробуйте `dd --help' для получения более подробного описания.
root@ddd-debian:/home/dimapv# dd if=/mnt/hd/1.mkv of=/mnt/hd/2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
 скопировано 445994403 байта (446 MB), 2,17378 c, 205 MB/c


И такая команда:

Код: Выделить всё

# dd if=/mnt/hd/1.mkv of=/home/dimapv/2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
 скопировано 445994403 байта (446 MB), 13,6452 c, 32,7 MB/c


Еще у меня есть внешний диск, подключаю через esata, на нем ntfs. Вот результат копирования:

Код: Выделить всё

# dd if=/mnt/hd/1.mkv of='/media/FreeAgent Drive/2.mkv' bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
 скопировано 445994403 байта (446 MB), 12,6327 c, 35,3 MB/c

Раньше я на него писал со скоростью 50Мб/с (могу ошибаться, конечно, но вроде это так и было, в linux'е)
Спасибо сказали:
Аватара пользователя
sgfault
Сообщения: 586
Статус: -
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение sgfault »

dimapv70 писал(а):
28.02.2012 18:28
Сделал то, что вы предложили, НА СВОЕМ НОУТЕ, вот результат:

Код: Выделить всё

root@ddd-debian:/home/dimapv# ls -lh /mnt/hd/
итого 426M
-rw------- 1 root root 426M Фев 28 18:15 1.mkv
drwx------ 2 root root  16K Фев 28 18:10 lost+found
root@ddd-debian:/home/dimapv# dd if=/mnt/hd/1.mkv of=/mnt/hd/2.mkv bs=4096 conv=fsyncD
dd: недопустимое преобразование: «fsyncD»
Попробуйте `dd --help' для получения более подробного описания.
root@ddd-debian:/home/dimapv# dd if=/mnt/hd/1.mkv of=/mnt/hd/2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
 скопировано 445994403 байта (446 MB), 2,17378 c, 205 MB/c

Как видите, скорость 200. Значит проблема скорей всего не в драйвере ext3.

dimapv70 писал(а):
28.02.2012 18:28
И такая команда:

Код: Выделить всё

# dd if=/mnt/hd/1.mkv of=/home/dimapv/2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
 скопировано 445994403 байта (446 MB), 13,6452 c, 32,7 MB/c

А сколько должно быть? 50?

В любом случае, я вам советую продолжить то, что вы не сделали раньше. Эксперимент с чистым выровненным (если нужно) разделом с ext3. Если у вас разбивка диска на ноуте не изменилась с сообщения 8, то проведите эксперимент на swap разделе. Закомментируйте swap в fstab (это ведь его отключит?), перезагрузитесь, измените тип раздела (fdisk-ом или sfdisk-ом). Вот вариант с sfdisk-ом:

Код: Выделить всё

# sfdisk -d /dev/sda > orig.mbr
# sed -e'\_/dev/sda5_s/Id=82/Id=83/' orig.mbr > new.mbr
# sfdisk -n -O orig2new_sectors.bkp /dev/sda <new.mbr

(чтобы на самом деле записать, надо убрать опцию '-n' в последней команде, и, возможно, добавить '-f') Создайте там фс (ext3), и попробуйте копирование внутри этой фс.
Потом все восстановите назад:

Код: Выделить всё

# sfdisk -n -O new2orig_sectors.bkp /dev/sda <orig.mbr
# mkswap /dev/sda5

и раскомментируйте строку со swap-ом в fstab. Если у вас там был UUID, он скорей всего изменится. Либо напишите новый в fstab, либо используйте опцию '-U' для `mkswap`, чтобы указать старый.

Да, кроме того, если все это делать из-под работающей системы, скорей всего возникнут проблемы со считыванием новой таблицы разделов. Примерно такого вида:

Код: Выделить всё

BLKRRPART: Device or resource busy

Можно загрузится с live-cd, но, возможно (точно уже не помню), будет достаточно single user и отмонтировать все разделы:
Кроме того, возможно (опять же, точно не помню), если изменить mbr, не обращая внимания на это, и перезагрузиться, все должно сработать.

Ну и я вам напомню, на всякий случай, что перед тем, как все это делать, рекомендуется сделать бекап.
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

Спасибо sgfault, за участие, позже попробую все сделать.

Сейчас вот пробовал еще раз и выяснил интересную закономерность: Один и тот же файл, но с именем на кирилице и латинице копируются совершенно по разному
------------------------------------------------------
# dd if=/mnt/hd/1.mkv of=/home/dimapv/2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
скопировано 445994403 байта (446 MB), 12,8311 c, 34,8 MB/c
-----------------------------------------------------
root@ddd-debian:/home/dimapv# dd if=/mnt/hd/Мастер1.mkv of=/home/dimapv/Мастер2.mkv bs=4096 conv=fsync
108885+1 записей считано
108885+1 записей написано
скопировано 445994403 байта (446 MB), 24,6767 c, 18,1 MB/c
--------------------------------------------------------


В чем может быть причина?

И еще d процессе копирования в наутилусе заметны подвисания и на винте и, в особенности, на флешке.
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

В общем, купил себе новый винчестер. Вот такой http://market.yandex.ru/model.xml?modelid=...1&hid=91033

разбил на 3 раздела: /home (последний), подкачка, и / (первый). Разбивал винчестер fdisk'ом - начало и конец каждого раздела (сектора) кратны 2048. (между разделами зазор 1 мегабайт).
Результаты совсем другие...


# dd if=/dev/zero of=/mnt/00.dd bs=4096 count=2621440 conv=fsync
2621440+0 записей считано
2621440+0 записей написано
скопировано 10737418240 байт (11 GB), 83,0952 c, 129 MB/c

(это не 12MB/c.....;)

Винт более шумный, но только чуть. греется также, примерно 46 градусов.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение drBatty »

dimapv70 писал(а):
29.02.2012 12:32
копируются совершенно по разному

dimapv70 писал(а):
29.02.2012 12:32
446 MB

а сколько оперативки? наверняка первый файл был в кеше.
dimapv70 писал(а):
15.05.2012 19:09
# dd if=/dev/zero

теперь вот нули копируем... их читать не нужно, потому и скорость выше. кстати, писать их тоже не нужно, сама FS может их упаковать.
читать здесь: http://ru.wikipedia.org/wiki/%D0%A0%D0%B0%...%B0%D0%B9%D0%BB
а лучше здесь: http://en.wikipedia.org/wiki/Sparse_file (в русской педовикии всего один абзац)
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
Аватара пользователя
alv
Бывший модератор
Сообщения: 7274
Статус: Пенсионер в законе
ОС: Cintu
Контактная информация:

Re: Опять про скорость жесткого диска

Сообщение alv »

drBatty писал(а):
16.05.2012 07:29
в русской педовикии всего один абзац

Да и в том Rock Ridge умудрились обозвать файловой системой :)
Спасибо сказали:
dimapv70
Сообщения: 18
ОС: Debian 6.0.1

Re: Опять про скорость жесткого диска

Сообщение dimapv70 »

drBatty писал(а):
16.05.2012 07:29
dimapv70 писал(а):
29.02.2012 12:32
копируются совершенно по разному

dimapv70 писал(а):
29.02.2012 12:32
446 MB

а сколько оперативки? наверняка первый файл был в кеше.
dimapv70 писал(а):
15.05.2012 19:09
# dd if=/dev/zero

теперь вот нули копируем... их читать не нужно, потому и скорость выше. кстати, писать их тоже не нужно, сама FS может их упаковать.
читать здесь: http://ru.wikipedia.org/wiki/%D0%A0%D0%B0%...%B0%D0%B9%D0%BB
а лучше здесь: http://en.wikipedia.org/wiki/Sparse_file (в русской педовикии всего один абзац)


Оперативки 2 gb. Но ведь я ничего более не менял, кроме винчестера... но в первом случае 12, во втором 120 мб/с (примерно). И эту скорость я просто вижу невооруженным взглядом, в процессе работы.
Спасибо сказали:
Ответить