При интенсивной работе HDD все тормозит (Вопрос о повышении отзывчивости Linux при записи/чтении больших файлов)

[altwazar]

На других компьютерах (с процессорами Athlon, Phenom и чипсетами от nVidia и AMD) этого бага нет.

Не пробовал с процессорами Athlon, но на nvidiaвких чипсетах под intel баг есть.
Сейчас хоть этот баг много народу заметило, теперь может исправят

[Full Null]

Да, с такими темпами они будут долго исправлять...

[Lenux]

Сейчас попробовал на своём 2.6.29, тормоза заметил (создание файла заполненого нулями с помощью dd на 5гб, и его копирование).
Мои мысли:
Конечно задержки были, у меня создалось впечатление, что как только дело доходит до непосредственно запроса с hdd и начинает система подвисать, получит данные- отвиснет. Поэтому если прога не обращается в этот момент к жёсткому, то тормоза не настолько сильные

А теперь по теме... кто-нибудь пробовал как Real Time ядро реагирует на подобные вещи?

[Vaka2]

это проблема называется IOWait 100%
на сегодняшний день решается только переходом на realtime ядро. (правда не полностью, но все же лучше чем на generic)
и еще.
не пользуйтесь transmission. эта сволочь при скачивании делает сильнейшую фрагментацию файлов. про другие torrent и emule клиенты не знаю, может быть тоже.
выянить можно просто: после скачивания скопируйте файл, как правило он будет копироваться со скоростью 2-3мб/с, но после того как скопируется, при дальнейшем копировании скорость уже нормальная.

[AlexNT]

Это далеко не только на интеловских чипсетах, это фактически баг ядра. Где то год назад поднимал подобную тему.
Open SUSE 10.3 проблемы с быстродействием
До сегодняшнего дня ничего не изменилось...

По моим личным наблюдениям - неверная работа планировщика ввода/вывода на низком уровне, т.к. переключение режмов планировщика фактически ничего не дает. Так же непонятно почему iowait математически вычитается из idle процессора. При копировании тормоза вызваны НЕ ЗАГРУЖЕННОСТЬЮ процессора, а невозможностью программе получить данные с HDD. Т.е. пока не скопируется файл данные по запросу запускаемой программе фактически не выделяются, отсюда ожидание.

[drBatty]

не пользуйтесь transmission. эта сволочь при скачивании делает сильнейшую фрагментацию файлов. про другие torrent и emule клиенты не знаю, может быть тоже.

amule качает в одну директорию, а после закачки переносит в другую, потому фрагментация там минимальная(особенно если эти директории в разных разделах). ktorrent можно(и нужно) так-же настроить. Однако баг проявляется и в том случае если копировать(переносить и даже удалять) нормальный, не фрагментированый файл.

ЗЫЖ ещё заметил странную вещь: система стоит на диске в 250Гб(IDE), там /, /usr/,/var/,/home/... там баг проявляется. Подключил тут диск на 120Гб(тоже IDE, Slave), вот внутри этого диска, бага не заметно. Сам второй диск хотя и медленее(потому-что старше), но при копировании/переносе внутри него, система не тормозит.

При копировании тормоза вызваны НЕ ЗАГРУЖЕННОСТЬЮ процессора

возможно. однако при этом CPU сильно греется, при загрузке несколько %%

[AlexNT]

возможно. однако при этом CPU сильно греется, при загрузке несколько %%

Насчет "греется" не наблюдал такого, в моем случае процессор не был занят, т.к. на быстродействии программ запущеных перед копированием торможение не сказывается. Процент загрузки процессора в top допустим, с времен появления ядра 2.6 вычисляется неверно. Из idle процессора вычитается занятость системы ввода/вывода что логически и математически неверно, т.к. занятость какого либо устройства не должна приводить к физической занятости процессора. Скорее всего мы говорим о разных "багах".

[altwazar]

Конечно задержки были, у меня создалось впечатление, что как только дело доходит до непосредственно запроса с hdd и начинает система подвисать, получит данные- отвиснет. Поэтому если прога не обращается в этот момент к жёсткому, то тормоза не настолько сильные

У меня тормоза во время фактического сброса данных на жесткий диск. При чтении не вижу никакого влияния на систему.
Можно увеличить промежуток времени между синхронизацией с 5 секунд до 2х минут, тогда хорошо видно когда появляются тормоза
Начинается это обычно когда вся память под кэш уходит.

[drBatty]

Из idle процессора вычитается занятость системы ввода/вывода что логически и математически неверно, т.к. занятость какого либо устройства не должна приводить к физической занятости процессора. Скорее всего мы говорим о разных "багах".

может и о разных. потому-как я ориентировался на показания sensors(встроенного в CPU термодиода). А показаниям top я тоже не доверяю.

PS: да, программы(долгоиграющие, вроде bzip2) тоже работают намного медленнее, хотя bzip2 совсем немного пишет и читает(скажем 100Мб логов довольно долго сжимать, при этом надо прочитать 100Мб, а записать всего 5Мб).

[BaZilio]

Ох как хорошо что эта тема нашлась.
У меня Intel C2D E6300 на материнке D975XBX и единственный SATA-винт на 400 GB в режиме 3 Gbps.
В последнее время и правда замечаю, что система "подтупливает" при дисковых операциях, раньше такое только в виндах принято было.

Почитал парой страниц ранее статью про swappiness, уменьшил до 1, попробуем завтра денёк поработать (в компе 2 GB RAM).

[theven]

разработчики определили причину трудноуловимой и давно мешающей ошибки...

И какова же причина данного бесилова?

У меня всегда большие подозрения были на libata

Мать: ASUS M2N32SLI (для атлона)
Винчестер: Samsung хз 500Gb, 16Mb (2 шт)
Файловая система: reiserfs md raid0

lspci|grep SATA
00:0d.0 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)
00:0d.1 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)
00:0d.2 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)

Под виндой отлично все работает.

[AlexNT]

разработчики определили причину трудноуловимой и давно мешающей ошибки...

И какова же причина данного бесилова?

У меня всегда большие подозрения были на libata

Мать: ASUS M2N32SLI (для атлона)
Винчестер: Samsung хз 500Gb, 16Mb (2 шт)
Файловая система: reiserfs md raid0

lspci|grep SATA
00:0d.0 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)
00:0d.1 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)
00:0d.2 IDE interface: nVidia Corporation MCP55 SATA Controller (rev a2)

Под виндой отлично все работает.

libata тут совершенно ни при чем. Я ставил дистрибутивы которые ее не используют, разницы никакой, что с ней что без нее - тормоза одинаковые. Ее единственное назначение - менять в системе имена дисковых устройств с hd на sd для унификации какой то видимо.

Могу сказать что на FreeBSD такого нет, так что я пока доволен этой системой вполне. Уже год ставлю свежие дистрибутвы линукса в ожидании когда поправят этот косяк, но ничего не меняется на данный момент. Последним испытывал Arch 2009.2 - характер глюкавости изменился, но не настолько чтобы нормально работало.

[AlexYeCu]

Уже год ставлю свежие дистрибутвы линукса в ожидании когда поправят этот косяк, но ничего не меняется на данный момент.

Видел статью из журнала «][akep» от 2004 года по этой проблеме. Как раз народ активно начал переходить с 2.4. Так что вопросы про неизменно высокое качество OpenSource кода и быстрый выход заплаток на этом можно считать закрытыми.

[drBatty]

При копировании тормоза вызваны НЕ ЗАГРУЖЕННОСТЬЮ процессора

возможно. однако при этом CPU сильно греется, при загрузке несколько %%

ничего не понимаю - всё работает. при переносе с одного раздела на другой всё работало нормально, а температура CPU даже немного упала!
наверное очередные обновления помогли...

[AndrewZenkov]

у меня тормоза присутствуют при прикопировании с раздела на раздел, с винта на винт, с диска на винт. винт ide, плата на intel p35 с ICH9R

[Ali1]

Нашёл в drivers/ata/libata-core.c
static const struct ata_blacklist_entry ata_device_blacklist
Ваши диски не из списка?

[altwazar]

Нашёл в drivers/ata/libata-core.c
static const struct ata_blacklist_entry ata_device_blacklist
Ваши диски не из списка?

Не. Тут другое :(

[prozium]

по умолчанию в убунте включена "справедливая" очередь (cfq) для дисковых операций. попробовал включить упреждающее планирование (anticipatory scheduling). некоторые проги стали быстрее загружаться и отвечать при высоком iowait.
в menu.lst добавил "elevator=as" :
kernel /boot/vmlinuz-2.6.27-14-generic root=UUID=6a881c55-0500-41eb-a74d-4434682e8659 ro quiet splash elevator=as

[AndrewZenkov]

у меня одинаво плохо что с elevator=as что без

[prozium]

насколько я понял данная проблема будет решена в ядре 2.6.30 :
http://kernelnewbies.org/Linux_2_6_30#head...e29bbda00d009dc

[TuxWare]

насколько я понял данная проблема будет решена в ядре 2.6.30 :
http://kernelnewbies.org/Linux_2_6_30#head...e29bbda00d009dc

Между данной проблемой и проблемой ext3 нет никакой связи. И чудо в 2.6.30-rc1 не произошло.

[damex]

Код: Выделить всё

Linux u2 2.6.30-rc1-git7 #2 SMP PREEMPT Thu Apr 16 12:37:11 MSD 2009 x86_64 Intel(R) Core(TM)2 Quad CPU Q8200 @ 2.33GHz GenuineIntel GNU/Linux

чудо всеже произошло (;

[alexdsp]

Код: Выделить всё

Linux u2 2.6.30-rc1-git7 #2 SMP PREEMPT Thu Apr 16 12:37:11 MSD 2009 x86_64 Intel(R) Core(TM)2 Quad CPU Q8200 @ 2.33GHz GenuineIntel GNU/Linux

чудо всеже произошло (;

Дык эта... поведайте миру тогда. Не будьте столь лаконичным!
Кстати, я недавно переставил систему, из основных изменений - перешёл на x86-64 и файловую систему JFS всюду, но на том же железе.
Не знаю, какой из факторов повлиял больше, но по ощущениям, стало намного лучше вести себя под нагрузкой и вообще, система прямо ощутимо убыстрилась...
Я всё это к чему - не может ли быть это и впрямь как-то связано с EXT3? Как раз, на предыдущей (тормозящей) системе была EXT3 и вела себя просто безобразно. Причём, попытки тюнинга её (типа - noatime и writeback режима) ни к каким особым улучшениям не приводили.

[theven]

Я всё это к чему - не может ли быть это и впрямь как-то связано с EXT3? Как раз, на предыдущей (тормозящей) системе была EXT3 и вела себя просто безобразно. Причём, попытки тюнинга её (типа - noatime и writeback режима) ни к каким особым улучшениям не приводили.

У меня raiserfs в md рейде, все тоже самое.

[TuxWare]

Код: Выделить всё

Linux u2 2.6.30-rc1-git7 #2 SMP PREEMPT Thu Apr 16 12:37:11 MSD 2009 x86_64 Intel(R) Core(TM)2 Quad CPU Q8200 @ 2.33GHz GenuineIntel GNU/Linux

чудо всеже произошло (;

Где факты?
Сделайте
dd if=/dev/zero of=bigfile bs=1M count=10000
а в другом терминале
vmstat 1
И укажите марку hdd.

[Ali1]

...
И укажите марку hdd.

Я заметил Вы постоянно спрашиваете марку диска.
У Вас есть основания предполагать виновность контроллера и микропрограммы диска?

[*Sasha*]

Всё, достали эти тормоза поскольку приходиться на десктопе много копировать, перешёл на FreeBSD, эо песня в этом плане.

[damex]

вот ...
hdd wd6400aaks
дискомфорта при интенсивной работе с hdd нет .... =)

[Vaka2]

На ядре 2.6.30-rc2

Код: Выделить всё

Linux vaka 2.6.30-rc2 #1 SMP PREEMPT Sat Apr 18 02:01:27 MSD 2009 x86_64 GNU/Linux

практически уже не тормозит. (проверяю перехешированием шары в dc, а также копированием HDTV фильмов с раздела на раздел), хотя сам IOWait все также 100%
плат Gigabyte P35, винт WD10EACS

[Vaka2]

На ядре 2.6.30-rc2

Код: Выделить всё

Linux vaka 2.6.30-rc2 #1 SMP PREEMPT Sat Apr 18 02:01:27 MSD 2009 x86_64 GNU/Linux

практически уже не тормозит. (проверяю перехешированием шары в dc, а также копированием HDTV фильмов с раздела на раздел), хотя сам IOWait все также 100%
плат Gigabyte P35, винт WD10EACS