При интенсивной работе HDD все тормозит (Вопрос о повышении отзывчивости Linux при записи/чтении больших файлов)

[AndrewZenkov]

Код: Выделить всё

Linux comp 2.6.30-rc2 #1 SMP Tue Apr 21 01:16:07 EEST 2009 i686 GNU/Linux

у меня улучшений нет

[TuxWare]

...
И укажите марку hdd.

Я заметил Вы постоянно спрашиваете марку диска.
У Вас есть основания предполагать виновность контроллера и микропрограммы диска?

Нет, есть другая причина когда sata2 работает на скорости 10-30 Мб/сек и отклик системы нормальный. Но в таком случае это не решение вопроса и ни какое не улучшение. Потому когда приводят вывод dd - 11 Мб/сек, хотелось бы понять это старый ide-диск или новый 700 гиговый диск с 32 мБайтами кеша.

Есть вопрос ядро 2.6.30 с драйверами nvidia уживается, а то тоже хочу попробовать.

[alexdsp]

Нет, есть другая причина когда sata2 работает на скорости 10-30 Мб/сек и отклик системы нормальный. Но в таком случае это не решение вопроса и ни какое не улучшение. Потому когда приводят вывод dd - 11 Мб/сек, хотелось бы понять это старый ide-диск или новый 700 гиговый диск с 32 мБайтами кеша.

Да, это верное наблюдение. Я недавно сменил HDD на быстрый SATA2 терабайтник и... началось... До этого несильно проявлялось, раньше был IDE, тоже быстрый, но всё же не настолько. Раньше ешё грешил на файловую систему EXT3, но как оказалось её влиянием можно пренебречь. А сейчас, даже мышка на десктопе дёргается, и секунд по 10 браузер вкладки перелистывает, когда DC++ шару хэширует.
Система Arch x86-64, обновлён до текущего состояния. Чипсет nvidia mcp51.

[sirocco]

Оказвыватеся, это докатилось даже до оффтопика....
http://www.techspot.com/blog/224/slow-syst...erver-2003-x64/

[alexdsp]

Оказвыватеся, это докатилось даже до оффтопика....
http://www.techspot.com/blog/224/slow-syst...erver-2003-x64/

Я что-то похожее читал и в линуксовых форумах. Типа проблема к системном кэше, страничном механизме и своп файле.
http://rudd-o.com/en/linux-and-free-softwa...how-to-fix-that
Но что-то пока ничем не лечится, сколько ни пробовал крутить разные параметры, предложенные автором.

[Ali1]

Есть вопрос ядро 2.6.30 с драйверами nvidia уживается, а то тоже хочу попробовать.

NVIDIA 180.44 Fedora10.92 это в 11 федоре.

[TuxWare]

И так 2.6.30-rc2, файловая система xfs (опции монтирования по умолчанию), диск один Seagate 1000 гигов с заявленной производителем скоростью 100-110 Мб/с. (понятно, что это для одного потока)
Провозился до 5 утра ядро не хотело стартовать, отказывалось находить корень монтируемый как /dev/disk/by-id. Проблему устранил восстановлением системы с инстал-диска. Было крайне интересно: suse сама построила fstab который я руками не трогал и близко не подходил; 29-е ядро работает как ни в чем не бывало - 30 нет; при восстановлении susе сказала "в fstab есть проблемы, исправить?". После чего ядро запустилось и приятно порадовало.
Собирал со стандартным config используемым в suse, только изменил две опции: Voluntary Kernel Preemption и 1000HZ. Все новые эксперементальные опции появившиеся в данном ядре отключены (протом буду разбираться). Как метод сжатия пока включил bzip2 (на следующем rc хочу попробовать lzma)
Выполнение dd if=/dev/zero of=./bigfile bs=1M count=15000 & ./fsync-tester (оба процесса очень хорошо дергают диск) показало, скорость 89-90 Мб/с (на 28 ядре было 75-78 Мб/с). IOWAIT снизился с 94-95% до 80-85%. Отклик системы отличный, даже одновременно с такой нагрузкой можно свободно работать в дельфине (появляются редкие рывки в долю секунды). Приложения запускаются без задержек.
Nvidia 180.51 дала 8700 попугаев в шестеренках (6400-6700 показывала на 2.6.29)
Больше ничего не пробывал, простите, сильно хотелось спать.

[alexdsp]

Как метод сжатия пока включил bzip2 (на следующем rc хочу попробовать lzma)
Выполнение dd if=/dev/zero of=./bigfile bs=1M count=15000 & ./fsync-tester (оба процесса очень хорошо дергают диск) показало, скорость 89-90 Мб/с (на 28 ядре было 75-78 Мб/с). IOWAIT снизился с 94-95% до 80-85%. Отклик системы отличный, даже одновременно с такой нагрузкой можно свободно работать в дельфине (появляются редкие рывки в долю секунды). Приложения запускаются без задержек.

Это очень радует. Однако хотел спросить. При чём тут lzma и bzip2, у Вас как-то на лету сжатие в ФС происходит?
Это очень интересно, я как-то проехал мимо этого...
Хотя, если сжатие на лету, то if=/dev/zero будет очень сильно сжиматься и реальный дисковый поток будет очень низким.
Тогда, наверное лучше было бы с несжимаемыми данными работать, типа /dev/urandom
Хотя, может, я просто не так понял.

[TuxWare]

Ядро заархивировано (на диске), и с версии 2.6.30 Вам на выбор преллагается чем жать gzip, bzip2, lzma. Влияет это только на время запуска ядра и его размер на диске или еще на чего то пока не знаю. Надо читать. Потому я на всякий случай упомянул, что я выбрал bzip2.

[alexdsp]

Ядро заархивировано (на диске), и с версии 2.6.30 Вам на выбор преллагается чем жать gzip, bzip2, lzma. Влияет это только на время запуска ядра и его размер на диске или еще на чего то пока не знаю. Надо читать. Потому я на всякий случай упомянул, что я выбрал bzip2.

Всё понятно, спасибо. Значит это не имеет значения. Я думал, что уже в ядре сжатие файловой системы сделали, думал отстал от жизни )

[Full Null]

Только что собрал и затестил 2.6.30-rc3. Как тормозило, так и тормозит дальше...

[AndrewZenkov]

Только что собрал и затестил 2.6.30-rc3. Как тормозило, так и тормозит дальше...

таже история. задолбался уже собирать ядра

[damex]

хотел потестить самое последнее доступное ядрышко но не завелось rc3 / rc3-git1 =(

и это ... эти "улучшения" не заработали при активном ahci режиме ...

[altwazar]

Я что-то похожее читал и в линуксовых форумах. Типа проблема к системном кэше, страничном механизме и своп файле.
http://rudd-o.com/en/linux-and-free-softwa...how-to-fix-that
Но что-то пока ничем не лечится, сколько ни пробовал крутить разные параметры, предложенные автором.

Угу, проблема похожа на виндовую. Тормоза начинаются тоже после того, как вся память под кэш уходит. Но вроде в линуксе нету способа его ограничить, так бы проверил.

[amatus]

Кто-нибудь уже пробовал ядро 2.6.30-rc4?

[AndrewZenkov]

Кто-нибудь уже пробовал ядро 2.6.30-rc4?

пробовал, заодно на ext4 переполз, как тормозило так и тормозит все!

[TuxWare]

Кто-нибудь уже пробовал ядро 2.6.30-rc4?

Из всех 2.6.30 если запустить какую нибудь программку слегка потребляющую ресурсы процессора и вместе с этим запустить любое копирование (удаление) то все приехали. Если ничего не запускать, а выполнять только файловые операции, то немного лучше работает нежели 2.6.29 и ниже. Но если подгрузить процессор процентов на 60% (например крутится hdtv) то на копирование 300Мб уходит 20 минут. Что действительно изменилось, так это то, что ранее после файловых операций, например удаление каталога в 1 гиг, удаление заканчивается, а диск еще минуты две колбасит и ничего не стартует, сейчас удаление заканчивается - тормоз снимается.
Короче ничерта они не сделали.
PS: под немного лучше понимается отзывчивость системы, например запуск новых приложений.

[Full Null]

Думаю, дело точно в кэше.
Ресайзил раздел в GParted, скорость перемещения данных ~40-60Мб/c, ничего не тормозило вообще, оперативки свободной валом... А при прямом копировании её вообще практически не остаётся

[altwazar]

Думаю, дело точно в кэше.
Ресайзил раздел в GParted, скорость перемещения данных ~40-60Мб/c, ничего не тормозило вообще, оперативки свободной валом... А при прямом копировании её вообще практически не остаётся :unsure:

Я тоже так думаю, так как тормоза начинаются при заполнении всей оперативки кэшом. Не нашел способа его ограничить, может кто-нибудь знает как?

[Sokoloid]

А проблема то реально серьезная, мне например пришлось откатиться на старое ядро из-за этого. MySQL сервер при копировании большого файла или заливке крупного дампа вставал колом, запросы практически не выполнял, а это не приемлемо. Проверил на рабочем десктопе OpenSUSE 11.1 тоже самое. Очень разочаровался Проблема с 2.6.18, сейчас 2.6.29 стабильное и до сих пор не пофиксили. На сервере SATA причем hdparm говорит что даже NCQ юзается и по тестам чтение примерно 100 МБ/c, а на рабочей машинке IDE диск, ситуация от этого не меняется.

Причем как большинство пишет (и у меня это проявляется) сначала все копируется шустро и система реагирует нормально, с какого-то момента все начинает тормозить. Те кто пишет что у них проблема не проявляется пусть попробуют:

dd if=/dev/zero of=testfile.10gb bs=1M count=10000

Еще мне интересно, как ведут себя системы с аппаратными RAID-контроллерами, у них похоже этой проблемы нет. Т.к. на другом сервере, который работает с внешней системой хранения данных (SAS), проблема не проявляется. SAS-контроллер Adaptec.

[Perlover]

Еще мне интересно, как ведут себя системы с аппаратными RAID-контроллерами, у них похоже этой проблемы нет. Т.к. на другом сервере, который работает с внешней системой хранения данных (SAS), проблема не проявляется. SAS-контроллер Adaptec.

У меня SAS, и проблема еще как проявляется
Подробнее писал еще тут
http://bugzilla.kernel.org/show_bug.cgi?id=12309
Пост 359
Скорость на рабочем серваке (под нагрузкой) при выполнении 'dd' записи на диск на RAID10 (с двумя SCSI) и с двумя Xeon-ами - внимание - 9.4 MB/s (!)
Примеры в посте 359
Ладно если просто копирование, я не могу в фоне делать rsync для зеркалирования SQL баз в другую папку - даже nice с приоритетом 20 и ionice с приоритетом idle для rsync-а подвешивает сервак конкретно - он по скорости при выполнении rsync напоминает i486 комп эры 90-х. И это притом, что rsync запущен с птичьими правами приортета CPU & I/O. Уже не знаю, что делать со всем этим ...
Если rsync не запускаю, все работает сносно, но иногда бывают провалы по несколько десятков секунд в апач запросах, так как на серваке бывают времена, когда диск юзается сильно ...

2 Sokoloid
А переход (откат) на ядро 2.6.18 (или меньше у тебя?) как у тебя прошло? Все ли работало, не было ли проблем? У меня Fedora Core 6, есть и 7-ая. Я бы откатил версии ядра назад. Но вот даже FC4 идет с ядром выше чем 2.6.18, если откатить назад 6-ую, фиг знает, как там все утилиты системы завязаны ....

[Perlover]

Про iowait проблему - кажись дело сдвинулось с мертвой точки
см. bug http://bugzilla.kernel.org/show_bug.cgi?id=12309#c360 , пост 360
Там человек пишет, что сделал revert двух патчей 2007-го года (когда проблема впервые появилась), и после люди пишут, что производительность повысилась драматично ...
Плиз кто-нибудь попробуйте сделать это и отпишите сюда ;-)

[TuxWare]

Про iowait проблему - кажись дело сдвинулось с мертвой точки
см. bug http://bugzilla.kernel.org/show_bug.cgi?id=12309#c360 , пост 360
Там человек пишет, что сделал revert двух патчей 2007-го года (когда проблема впервые появилась), и после люди пишут, что производительность повысилась драматично ...
Плиз кто-нибудь попробуйте сделать это и отпишите сюда ;-)

На 2.6.30-rc8 проверить невозможно, файлы совершенно не похожи на 2.6.28, не патчатся и даже в рукопашную вписать проблема.

[Hassium]

Про iowait проблему - кажись дело сдвинулось с мертвой точки
см. bug http://bugzilla.kernel.org/show_bug.cgi?id=12309#c360 , пост 360
Там человек пишет, что сделал revert двух патчей 2007-го года (когда проблема впервые появилась), и после люди пишут, что производительность повысилась драматично ...
Плиз кто-нибудь попробуйте сделать это и отпишите сюда ;-)

2.6.30-rc8-git6 патч http://bugzilla.kernel.org/show_bug.cgi?id=12309#c366 - для меня никаких улучшений

[*Sasha*]

Вышло 2.6.30, кто уже юзает, улучшения есть?

[Full Null]

Вышло 2.6.30, кто уже юзает, улучшения есть?

Это где вы такое увидели?

The latest stable version of the Linux kernel is: 2.6.29.4

Думаю, дело точно в кэше.
Ресайзил раздел в GParted, скорость перемещения данных ~40-60Мб/c, ничего не тормозило вообще, оперативки свободной валом... А при прямом копировании её вообще практически не остаётся

Опровергну свои догадки. Во время копирования сбрасывал кэши:

Код: Выделить всё

echo 1 > /proc/sys/vm/drop_caches

Памяти было много в течении ~2 мин, но на этот период ничего не менялось, всё также с большим трудом в терминале удавалось ввести хотя бы "free" или "vmstat 1"

[Hassium]

Вышло 2.6.30, кто уже юзает, улучшения есть?

Это где вы такое увидели?

The latest stable version of the Linux kernel is: 2.6.29.4

Тут http://git.kernel.org/?p=linux/kernel/git/...fd95de5c02648c6

[drBatty]

Это где вы такое увидели?
Цитата(kernel.org)
The latest stable version of the Linux kernel is: 2.6.29.4

есть и unstable

[Full Null]

есть и unstable

Про релиз кандидаты я в курсе, конечно, это был ответ на:

Вышло 2.6.30, кто уже юзает, улучшения есть?

[drBatty]

Про релиз кандидаты я в курсе, конечно, это был ответ на:

Вышло 2.6.30, кто уже юзает, улучшения есть?

имелось ввиду, "исправят ли это в .6.30?"
похоже - нет