При интенсивной работе HDD все тормозит (Вопрос о повышении отзывчивости Linux при записи/чтении больших файлов)

IDE, SATA, SCSI, внешние USB-HDD, SSD, USB-Flash накопители

Модератор: Модераторы разделов

Аватара пользователя
Ben Aceler
Сообщения: 185
ОС: Various Linux

Re: При интенсивной работе HDD все тормозит

Сообщение Ben Aceler »

kreator писал(а):
13.06.2008 03:25
Ben Aceler писал(а):
12.06.2008 10:32
kreator писал(а):
12.06.2008 01:25
BenВ Aceler
В top idle = 85%-95%?

Угу. А винчестер страшно скрипит и система страшно тормозит. Сейчас, повторюсь, на nForce 5 такого эффекта нет.

Не может быть :) У меня (nforce2 sata) при копировании:
Cpu(s): 8.7%us, 22.3%sy, 0.3%ni, 0.0%id, 65.3%wa, 0.3%hi, 3.0%si, 0.0%st

Не-а, а у меня при копировании на nForce 5 не 85%, правда, но до 60%id доходит :) Впрочем интел был давно.
Участник NNLUG и KDE, директор ООО "Элсис".
Спасибо сказали:
Аватара пользователя
Sekta-N
Сообщения: 854
ОС: Зоопарк

Re: При интенсивной работе HDD все тормозит

Сообщение Sekta-N »

Наблюдал тормоза (несмотря на то, что южный мост - ICH5) при работе с большими файлами на ФС ext и Reiser, при том нагрузка на проц была 5-7%.
В конце концов решил эту проблему разбитием Home на два раздела собственно /home/lindemidux с ФС Reiser (где лежит мелочь пузатая) и на /home/lindemidux/media ФС XFS - музыка, видео, исошки, pdf, фотки.

lindemidux@linux:~> df -h
/dev/sda1 3,1G 156M 3,0G 5% / - корневой раздел reiser
/dev/sda2 12,1G 7,8G 4,3G 64% /macosx - ха...макинтош FS HFS
udev 633M 88K 633M 1% /dev
/dev/mapper/system-home
30G 27G 3,1G 90% /home на lvm FS Reiser
/dev/mapper/system-opt
3,0G 472M 2,6G 16% /opt на lvm FS Reiser
/dev/mapper/system-usr
8,0G 3,0G 5,1G 38% /usr на lvm FS Reiser
/dev/mapper/system-var
2,0G 295M 1,8G 15% /var на lvm FS Reiser
/dev/mapper/system-media
85G 82G 2,3G 98% /home/lindemidux/media на lvm FS XFS

Опытным путем вычислил, что reiser быстрее xfs при работе с файлами до 500кб, с 500кб до 1Мб паритет, более 1Мб XFS лидирует.

Еще ядро может использовать два разных драйвера: ATAPI и SATA/PATA
Почти во всех дистрах добавляют, для повышения совместимости со всяким г... типа SIS - ATAPI
Поэтому можно пересобрать ядро и удалить оттуда полностью ATAPI и сделать builtin (звездочкой) SATA/PATA devices.
Нет тут подписи и не будет.
Спасибо сказали:
palpalch
Сообщения: 18
ОС: Debian Lenny

Re: При интенсивной работе HDD все тормозит

Сообщение palpalch »

Ну так что,товарищи Линуксоиды?
Этот баг только у чипсетов от АМД?
И ни как этого не исправить?
Ведь на FreeBSD все ок.
Спасибо сказали:
Аватара пользователя
Данил
Сообщения: 944
ОС: windows xp, cruncheee, ddwrt

Re: При интенсивной работе HDD все тормозит

Сообщение Данил »

Да скорее всего проблема в дровах? а может быть в Inotify&
ASUS eee pc 701 [windowsXP sp3] [Ubuntu linux]
wi-fi router d-link dir-400 [ddWRT v24 SP1 linux]
[sony psp 2008 slim wi-fi netBSD]
nas d-link dsm-600

Противник HAL NETWORKMANAGER и других подобных паделок!!!
Спасибо сказали:
palpalch
Сообщения: 18
ОС: Debian Lenny

Re: При интенсивной работе HDD все тормозит

Сообщение palpalch »

Народ, ну может хотя бы напишем баг репорт?
А то с такой инициативой ни чего и не сделают
Спасибо сказали:
palpalch
Сообщения: 18
ОС: Debian Lenny

Re: При интенсивной работе HDD все тормозит

Сообщение palpalch »

НУ что,так и нет ни каких новостей по этому вопросу?
И всех все устраивает?
Спасибо сказали:
alexdsp
Сообщения: 82
ОС: Arch Linux

Re: При интенсивной работе HDD все тормозит

Сообщение alexdsp »

У меня, чисто субъективно, такое ощущение, что тормоза начались с повсеместного внедрения libata, т.е. конкретно, когда все диски стали называться /dev/sda и т.д.
Помнится, на Слаквари 12 было /dev/hda, не было никакой libata и не было тормозов при I/O операциях. Файловую систему всегда использую EXT3, чипсет - nforce430 (mcp51). С момента перехода на Arch и введения в ядро libata, начались тормоза. Это и в их форумах тоже отмечено. Я точно не помню момента когда это начало происходить, но по ощущениям - где-то год назад. Я тоже менял и планировщики, и пересобирал ядро, радикально ничего не помогало. Такое ощущение, что сообщество занято более важными делами...
Спасибо сказали:
Аватара пользователя
Ben Aceler
Сообщения: 185
ОС: Various Linux

Re: При интенсивной работе HDD все тормозит

Сообщение Ben Aceler »

alexdsp писал(а):
13.10.2008 15:29
У меня, чисто субъективно, такое ощущение, что тормоза начались с повсеместного внедрения libata, т.е. конкретно, когда все диски стали называться /dev/sda и т.д.
Помнится, на Слаквари 12 было /dev/hda, не было никакой libata и не было тормозов при I/O операциях. Файловую систему всегда использую EXT3, чипсет - nforce430 (mcp51). С момента перехода на Arch и введения в ядро libata, начались тормоза. Это и в их форумах тоже отмечено. Я точно не помню момента когда это начало происходить, но по ощущениям - где-то год назад. Я тоже менял и планировщики, и пересобирал ядро, радикально ничего не помогало. Такое ощущение, что сообщество занято более важными делами...

Open SUSE 10.3 проблемы с быстродействием
Участник NNLUG и KDE, директор ООО "Элсис".
Спасибо сказали:
alexdsp
Сообщения: 82
ОС: Arch Linux

Re: При интенсивной работе HDD все тормозит

Сообщение alexdsp »

Ben Aceler писал(а):
14.10.2008 23:58
alexdsp писал(а):
13.10.2008 15:29
У меня, чисто субъективно, такое ощущение, что тормоза начались с повсеместного внедрения libata, т.е. конкретно, когда все диски стали называться /dev/sda и т.д.
Помнится, на Слаквари 12 было /dev/hda, не было никакой libata и не было тормозов при I/O операциях. Файловую систему всегда использую EXT3, чипсет - nforce430 (mcp51). С момента перехода на Arch и введения в ядро libata, начались тормоза. Это и в их форумах тоже отмечено. Я точно не помню момента когда это начало происходить, но по ощущениям - где-то год назад. Я тоже менял и планировщики, и пересобирал ядро, радикально ничего не помогало. Такое ощущение, что сообщество занято более важными делами...

Open SUSE 10.3 проблемы с быстродействием


Читал я эту ветку.
Такое ощущение, что тут ещё определённое железо играет роль.
Сейчас вспоминаю, слакварь стояла у меня всё-таки на другом компьютере, а там был чипсет nforce2, там не было никаких тормозов при интенсивном I/O. Сейчас, на другом чипсете (nforce430) я бы не сказал, что они сильные, но заметно, что как бы латентность больше, что-ли. И при загрузке шины система становится менее отзывчивой. На старом, и более медленном компьютере этого, совсем не чувствовалось. Но везде были ядра серии 2.6
Спасибо сказали:
Аватара пользователя
alextkito
Сообщения: 43
ОС: Debian/sid

Re: При интенсивной работе HDD все тормозит

Сообщение alextkito »

2xWD5000AAKS
,
попробуй Seagate думаю проблема в ICH9. у меня один такой же винт - тоже наблюдаю тормоза, причем проц не загружен.
Спасибо сказали:
Аватара пользователя
Full Null
Сообщения: 555
Статус: Продвинутый ламер
ОС: ArchLinux

Re: При интенсивной работе HDD все тормозит

Сообщение Full Null »

palpalch писал(а):
28.07.2008 21:03
Народ, ну может хотя бы напишем баг репорт?
А то с такой инициативой ни чего и не сделают

Давно пора. Предлагаю для начала всем пострадавшим поведать в эту тему о железе, на котором наблюдаются тормоза. Составим список, а там передадим разрабам.

У меня такая конфигурация:
Мать: ASUS P5B-E
Винчестер: Seagate ST3400620AS 400Gb, 16Mb
Файловая система: ext3

Код: Выделить всё

lspci|grep SATA
00:1f.2 IDE interface: Intel Corporation 82801H (ICH8 Family) 4 port SATA IDE Controller (rev 02)
00:1f.5 IDE interface: Intel Corporation 82801H (ICH8 Family) 2 port SATA IDE Controller (rev 02)
02:00.0 SATA controller: JMicron Technologies, Inc. JMicron 20360/20363 AHCI Controller (rev 02)

hdparm -i /dev/sda|grep -i udma
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
Jabber: reiser_@jabber.ru
Я на LastFM: http://www.lastfm.ru/user/ReiserRUS
Спасибо сказали:
Аватара пользователя
Strange_V
Сообщения: 69
ОС: Ubuntu last version

Re: При интенсивной работе HDD все тормозит

Сообщение Strange_V »

Те же проблемы, началось с переходом на ubuntu 8.10
Asus P5K
Seagate ST3400620AS 400Gb, 16Mb
ext3, ext2

Код: Выделить всё

# hdparm -i /dev/sda|grep -i udma
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
# lspci|grep SATA
00:1f.2 IDE interface: Intel Corporation 82801IB (ICH9) 2 port SATA IDE Controller (rev 02)
00:1f.5 IDE interface: Intel Corporation 82801I (ICH9 Family) 2 port SATA IDE Controller (rev 02)
03:00.0 SATA controller: JMicron Technologies, Inc. JMicron 20360/20363 AHCI Controller (rev 03)
www.notes.if.ua | Клуб «Velo–Stalker»
Жизнь - это шахматная партия, по окончании которой и короли, и пешки ложатся в один ящик.
Спасибо сказали:
Аватара пользователя
Full Null
Сообщения: 555
Статус: Продвинутый ламер
ОС: ArchLinux

Re: При интенсивной работе HDD все тормозит

Сообщение Full Null »

Да.. Железо почти то же самое... Заметил ещё низкую скорость копироования, около 10Мб/c при копировании в пределах одного раздела.
Strange_V, не мог бы проверить у себя файл ~1Гб прогнать

Код: Выделить всё

time if dd='/path/to/file.avi' of='/path/to/file2.avi'
Jabber: reiser_@jabber.ru
Я на LastFM: http://www.lastfm.ru/user/ReiserRUS
Спасибо сказали:
Аватара пользователя
Strange_V
Сообщения: 69
ОС: Ubuntu last version

Re: При интенсивной работе HDD все тормозит

Сообщение Strange_V »

Код: Выделить всё

2330928+0 записів введено
2330928+0 записів виведено
1193435136 bytes (1,2 GB) copied, 49,0123 s, 24,3 MB/s

real    0m49.029s
user    0m0.736s
sys    0m14.573s
www.notes.if.ua | Клуб «Velo–Stalker»
Жизнь - это шахматная партия, по окончании которой и короли, и пешки ложатся в один ящик.
Спасибо сказали:
Аватара пользователя
Full Null
Сообщения: 555
Статус: Продвинутый ламер
ОС: ArchLinux

Re: При интенсивной работе HDD все тормозит

Сообщение Full Null »

Написал багрепорт.
Предлагаю присоединиться, http://bugzilla.kernel.org/show_bug.cgi?id=12072
Jabber: reiser_@jabber.ru
Я на LastFM: http://www.lastfm.ru/user/ReiserRUS
Спасибо сказали:
Аватара пользователя
altwazar
Сообщения: 427
Статус: Zz
ОС: Calculate

Re: При интенсивной работе HDD все тормозит

Сообщение altwazar »

Full Null писал(а):
21.11.2008 21:52
Написал багрепорт.
Предлагаю присоединиться, http://bugzilla.kernel.org/show_bug.cgi?id=12072

Думал, что эту тему и не поднимут уже :) Наблюдаю эту проблему на всех относительно новых машинах (штук 5 опробовал), в любом дистрибутиве. Как то уже создавал тему на этом форуме в разделе генту.

Проблемы точно есть на системах:
Первая: core quadro e6600
asus p5e ws pro
4gb ram
nvidia 8800 gtx
Вторая: core quadro e6600
asus striker extreme
4gb ram
nvidia 8800 gts.

Пробовал убирать оперативку, использовать 32х битную систему, штук 10 различных жестких дисков. Так же различные варианты настроек в ядре. Результат одинаков :(
Если пишется большой файл, со скоростью записи >30 метров в секунду, то в системе становиться невозможно работать. На более старых машинах такой проблемы нету даже близко.

Еще разве что видюшку поменять не пробовал :) ionice - не оказывает никакого воздействия.
Спасибо сказали:
Аватара пользователя
Strange_V
Сообщения: 69
ОС: Ubuntu last version

Re: При интенсивной работе HDD все тормозит

Сообщение Strange_V »

А решение походу не предвидится.. Никто ничего нового не узнал?
www.notes.if.ua | Клуб «Velo–Stalker»
Жизнь - это шахматная партия, по окончании которой и короли, и пешки ложатся в один ящик.
Спасибо сказали:
Аватара пользователя
Ben Aceler
Сообщения: 185
ОС: Various Linux

Re: При интенсивной работе HDD все тормозит

Сообщение Ben Aceler »

Судя по подтверждениям бага, проблема только с Intel, не так ли? Может, стоит об этом намекнуть в обсуждении.
Участник NNLUG и KDE, директор ООО "Элсис".
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

Strange_V писал(а):
02.12.2008 20:16
А решение походу не предвидится.. Никто ничего нового не узнал?


Ядро 2.6.28 - P5K (ICH9) - изменений нет. Жду с великим нетерпением выхода SLES-11, с внедренной libata, и отклика тех, кто это чудо разместит на файловых серверах с интеловскими чипсетами.
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

А еще интересно у представителей клана Федора нет таких проблем? Просто я нигде не видел конкретного указания ОС: Fedora или ASPLinux.
Спасибо сказали:
Аватара пользователя
kidoz
Сообщения: 180
ОС: Archlinux/Gnome

Re: При интенсивной работе HDD все тормозит

Сообщение kidoz »

Как у вас Sata в Bios-е выставлена: IDE, ACHI, SATA и т.п. (в зависимости от bios)?
irc.freenode.net #archlinux-ru (UTF-8)
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

kidoz писал(а):
03.01.2009 00:39
Как у вас Sata в Bios-е выставлена: IDE, ACHI, SATA и т.п. (в зависимости от bios)?


Если у меня то есть только 3 опции
Disabled, Compatible IDE, Enhanced IDE

И если перебросить диск на JMicron то можно поставить ACHI, но на SUSE-11 ничего не дало и потом на SUSE-11.1 больше не пробывал.

# dmesg | grep ata1.00
ata1.00: ATA-8: ST31000340AS, SD15, max UDMA/133
ata1.00: 1953525168 sectors, multi 16: LBA48 NCQ (depth 0/32)
ata1.00: configured for UDMA/133

# hdparm -i /dev/sda
.....
BuffType=unknown, BuffSize=0kB, MaxMultSect=16, MultSect=?16?
.....
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
.....
Drive conforms to: unknown: ATA/ATAPI-4,5,6,7

# hdparm -t /dev/sda
/dev/sda:
Timing buffered disk reads: 320 MB in 3.01 seconds = 106.32 MB/sec

# hdparm -T /dev/sda
/dev/sda:
Timing cached reads: 14782 MB in 2.00 seconds = 7400.95 MB/sec

При распаковке архива типа linux-2.6.28.tar.bz2 все висит (про большие и речи нет), при копировании и удалении файлов тот же эфект.
Нагрузка на проц 3-5% (Core2 Duo, штатная частота 3Ггц, реальная 3.8). Ни чего запустить нельзя пока дисковые операции не завершатся. Это если выполняется на одном разделе.
А вот если я копирую 300 Мб с /dev/sda3 на /dev/sda2 все нормально работает, запускается. Но пока 300 Мб копируются я успеваю поставить чайник, сделать кофе и еще прийти увидеть завершение процесса.
Спасибо сказали:
Аватара пользователя
SantaClausRpm
Сообщения: 58

Re: При интенсивной работе HDD все тормозит

Сообщение SantaClausRpm »

TuxWare писал(а):
03.01.2009 01:39
Timing buffered disk reads: 320 MB in 3.01 seconds = 106.32 MB/sec
Timing cached reads: 14782 MB in 2.00 seconds = 7400.95 MB/sec


Вроде значения нормальные.

Попробуйте

Код: Выделить всё

elevator=deadline

в grub.conf
In FOSS we trust
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

SantaClausRpm писал(а):
03.01.2009 15:36
Попробуйте

Код: Выделить всё

elevator=deadline

в grub.conf


Ну эффект не изменился, а если изменился то на глаз незаметно. Очень высокий iowait. И копирование файла 4,4 Гб (xfs) в одном и том же разделе начинается с 60 Мб/с, потом очень быстро падает до 35, а после 75% и до 20. Деффрагментацию выполнил.
Спасибо сказали:
Аватара пользователя
Ali1
Сообщения: 2250

Re: При интенсивной работе HDD все тормозит

Сообщение Ali1 »

TuxWare
Вы спрашивали:"А еще интересно у представителей клана Федора нет таких проблем?"
Специально сегодня проверил. Нет ! Что интересно в прошлом году я некоторое время наблюдал подобную симптоматику.
Но не долго.
Железо gigabyte p35 ich9 без райда jmicron все в ahci.
ЗЫ перепрошить bios ?...
Спасибо сказали:
Аватара пользователя
SantaClausRpm
Сообщения: 58

Re: При интенсивной работе HDD все тормозит

Сообщение SantaClausRpm »

TuxWare писал(а):
05.01.2009 00:08

Код: Выделить всё

elevator=deadline



Ну эффект не изменился, а если изменился то на глаз незаметно. Очень высокий iowait. И копирование файла 4,4 Гб (xfs) в одном и том же разделе начинается с 60 Мб/с, потом очень быстро падает до 35, а после 75% и до 20. Деффрагментацию выполнил.


Как вы определяете какой планировщик у вас в данный момент работает?
In FOSS we trust
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

SantaClausRpm писал(а):
05.01.2009 13:47
Как вы определяете какой планировщик у вас в данный момент работает?


Никак не определял. В SUSE через яст, в разделе управления ядром, включаю нужный мне планировщик io. Пережружаюсь, в опциях ядра соответственно появляется elevator=...
Спасибо сказали:
Аватара пользователя
SantaClausRpm
Сообщения: 58

Re: При интенсивной работе HDD все тормозит

Сообщение SantaClausRpm »

Проверьте, должно быть примерно так (если deadline):

$ dmesg|grep scheduler

Код: Выделить всё

io scheduler noop registered
io scheduler anticipatory registered
io scheduler deadline registered (default)
io scheduler cfq registered
In FOSS we trust
Спасибо сказали:
Аватара пользователя
Full Null
Сообщения: 555
Статус: Продвинутый ламер
ОС: ArchLinux

Re: При интенсивной работе HDD все тормозит

Сообщение Full Null »

Да бесполезно, я пробовал все (cfq, anticipatory, deadline,noop) - разницы никакой
Jabber: reiser_@jabber.ru
Я на LastFM: http://www.lastfm.ru/user/ReiserRUS
Спасибо сказали:
Аватара пользователя
TuxWare
Сообщения: 637
ОС: Windows 7

Re: При интенсивной работе HDD все тормозит

Сообщение TuxWare »

$ dmesg|grep scheduler

Код: Выделить всё

io scheduler noop registered
io scheduler anticipatory registered
io scheduler deadline registered (default)
io scheduler cfq registered


SUSE не обманула, отклик системы все же стал лучше. Ну остальное прилагаю.
Дописываю. Нет все же отклик стал лучше из-за перехода на 28 ядро, а не из-за deadline.
Спасибо сказали: