При интенсивной работе HDD все тормозит (Вопрос о повышении отзывчивости Linux при записи/чтении больших файлов)

[n00kl]

Установил Kubuntu 9.10, проблема изчезла (либо стала незаметной). А вот в Arch Linux по прежнему тормозит, но пользоваться убунту желания мало, может кто-нибудь подскажет куда копать?

[edgbla]

Не знаю писали тут или нет, лень читать кучу страниц, ну тот копался и нашёл ответ, нужно отключить режим кэширования при записи,
ну или отключить своп, тормозить начинает тогда когда как я понял заканчивается память и кеширование начинает работать через своп.
своп убираем как (если не нужен конечно):
swapoff -a
и убеждаемся что тормозить перестало, либо как я считаю лучший вариант:
hdparm -W 0 /dev/sda на все жёсткие,
выключаем кэширование при записи, результат будет одинаков.

[rm_]

как я считаю лучший вариант:
hdparm -W 0 /dev/sda на все жёсткие,

Кстати говоря при отсутствии ИБП, это нужно делать обязательно и всем, безотносительно наличия проблемы.

Выполнить на все диски (можно забить в конец /etc/rc.local):

Код: Выделить всё

find /dev/sd? -exec hdparm -W 0 {} \;

[Chuchelko]

Такая же проблема. От железа и версии ядра не зависит. Началось давно (примерно после перехода на libata). Отключение кеширования записи не помогает, ибо тормоза начинаются и при интенсивном чтении тоже.
Воспроизводится легко: запускаю в rtorrent проверку хэша какого-нибудь большого iso'шника, рядом открываю top и смотрю - как только заканчивается свободная память, начинаются дикие тормоза. Окошки переключаются по минуте, что-то новое запустить вообще не реально.
Была мысль о том, что ядро зачем-то убирает данные открытых программ в своп, а память отдает под кэш... Но тогда бы помогло отключение свопа, а не помогает...

[*Sasha*]

Такая же проблема. От железа и версии ядра не зависит.

Код: Выделить всё

sasha@debian ~ # uname -a
Linux debian 2.6.32-trunk-amd64 #1 SMP Sun Dec 6 17:49:24 UTC 2009 x86_64 GNU/Linux

Перестало наконец тупить, по крайней мере у меня.

[Chuchelko]

Такая же проблема. От железа и версии ядра не зависит.

Код: Выделить всё

sasha@debian ~ # uname -a
Linux debian 2.6.32-trunk-amd64 #1 SMP Sun Dec 6 17:49:24 UTC 2009 x86_64 GNU/Linux

Перестало наконец тупить, по крайней мере у меня.

Код: Выделить всё

Linux gentoo 2.6.32-gentoo #1 SMP PREEMPT Wed Dec 23 16:14:10 MSK 2009 i686 Intel(R) Pentium(R) 4 CPU 3.00GHz GenuineIntel GNU/Linux

Тормоза никуда не делись....

[*Sasha*]

Chuchelko
hdparm -W /dev/sda
У меня при выключеном тормозит, при включеном нет.

[Chuchelko]

Chuchelko
hdparm -W /dev/sda
У меня при выключеном тормозит, при включеном нет.

write-caching = 1 (on)

[BaZilio]

Народ, кто в курсе - есть подвижки с проблемой?
Я вешаюсь просто! Винт Seagate 400 GB на SATAII на материнке Intel D975XBX (Debian 5.0, ядро 2.6.30). Скорость копирования - 3-5 МБ/с, одно ядро процессора лежит при этом.
А при простое hdparm -tT выдаёт вполне себе приятные цифры:

Код: Выделить всё

/dev/sda:
 Timing cached reads:   2374 MB in  2.00 seconds = 1186.62 MB/sec
 Timing buffered disk reads:  224 MB in  3.02 seconds =  74.24 MB/sec

[Jaguar77]

Более-менее решил проблемму.....Вот что сделал.....
Захотелось попробовать различные дистрибутивы линуксов отличные от redhat-based к которым привык, что посмотреть что в них различного....
скачал archlinux-2009.08-core-x86_64 и был очень удивлен......
Федора, сразу после загрузки, потребляет от 40-60 мб оперативы....и это то без всяких иксов.....
В арче сразу после загрузки было занято чуть более 30 мб, скорость загрузки его оказалась намного быстрее....
Обновился...ядро 2.6.32....ну думаю щас тоже оперативы много съест.....но ничего не изменилось....
Проблемма появилась когда нужно было добавить mppc к 2.6.32.....патч не подошел....
Решил поставить 2.6.31.....полез на koji, взял последний src.rpm от 12й федоры с 2.6.31,
в виртуалке федоры установил этот src.rpm и сделал rpmbuild -bp kernel.spec что б применить патчи к ядру....
после этого переименовал папку и патченным ядром в kernel-2.6.31, сжал, получил kernel-2.6.31.tar.bz2.
В арче используя команду abs получил папку с pkgbuild, скопировал эту папку в домашнюю папку, подправил pkgbuild
и собрал ядро....Установил полученные pkg.tar.gz и решил протестить систему.....

Изменилось вот что: iowait перестал доходить до 95-100%, сейчас 80-90%.....
Скорость копирования с 12мб/с выросла до 50-60 мб/с.
После копирования больших файлов кеш сразу освобождается.

Tasks: 44 total, 1 running, 43 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.5%us, 1.6%sy, 0.0%ni, 93.1%id, 3.8%wa, 0.2%hi, 0.8%si, 0.0%st
Mem: 508620k total, 30888k used, 477732k free, 3584k buffers
Swap: 425712k total, 0k used, 425712k free, 6480k cached

uptime
19:10:45 up 48 min, 2 users, load average: 0.00, 0.00, 0.01
uname
2.6.31.12-ARCH #1 SMP PREEMPT x86_64

archlinux оказался намного приятнее федоры в скорости работы и в плане отсутствия ConsoleKit и тп "лишних" процессов

[AlexYeCu]

Изменилось вот что: iowait перестал доходить до 95-100%, сейчас 80-90%.....
Скорость копирования с 12мб/с выросла до 50-60 мб/с

Так вроде профиксили в 2.6.3* ядрах высокий iowait? Проблем с отзывчивостью вроде не наблюдал на 2.6.32, скорость от 30, с забитого за 90% винта на полупустой. На 2.6.27-2.6.29 на том же железе проблема в полный рост была, спасался anticipatory sheduler`ом ну и ничего ресурсоёмкого не пускал при больших объёмах копирования.

archlinux оказался намного приятнее федоры в скорости работы и в плане отсутствия ConsoleKit и тп "лишних" процессов

Вот я к нему тоже присматриваюсь. Установочный образ уже скачал, появится/освободится винт — буду посмотреть. Хотя мне лично скорости работы хватает и федориной, но вот «масса ненужного всего» раздражает…

[Jaguar77]

Так вроде профиксили в 2.6.3* ядрах высокий iowait?

сделали патч,но проблемма все еще присутствует тк копирование процессор загружает на 100% (idle 00%).
Патч не устраняет проблемму, просто планировщик распределяет задачи так что б тормоза ощущались меньше.....