При интенсивной работе HDD все тормозит (Вопрос о повышении отзывчивости Linux при записи/чтении больших файлов)

[alexdsp]

$ dmesg|grep scheduler

Код: Выделить всё

io scheduler noop registered
     io scheduler anticipatory registered
     io scheduler deadline registered (default)
     io scheduler cfq registered

SUSE не обманула, отклик системы все же стал лучше. Ну остальное прилагаю.
Дописываю. Нет все же отклик стал лучше из-за перехода на 28 ядро, а не из-за deadline.

При этом копировании, вообще, что-то можно делать на компьютере, или он так же как обычно, делается "мёртвым"?
Дело ведь не в скорости копирования, а насколько отзывчивый десктоп в этот момент.
Вообще, почитал разные форумы на эту тему, по всему, эта проблема есть во всех дистрибутивах, и на Intel процессорах и на AMD, и на очень разных чипсетах. Странно как-то всё это. Разработчики ядра от проблемы открещиваются всеми руками и ногами. Багрепорты висят как и висели, и ничего не меняется... Система как тормозила так и тормозит... При этом, проблема точно не в железе (к чему пытаются некоторые свести тему).
Элементарный тест. У меня дома Arch Linux - current, всё работает, проблем никаких нет, кроме вышеупомянутой. (Сейчас пишу с работы)
Материнка - ASUS M2NPV-VM (GeForce 6150), процессор AMD X2 3800+, память - 2Гб, ничего не разгонялось.
Начинаю копировать, например, какой-нибудь фильм с раздела на раздел (ext3), на компьютере становится практически невозможно работать. Firefox стартует чуть не за минуту, и всё остальное - в том же духе.
То же самое делаю в Вин ХР, но с поправкой на NTFS, firefox стартует за 3 сек на фоне копирования. Всё остальное (просмотр фильмов и т.д.) работает так же гладко, как будто на фоне и нет никакого копирования.
Короче, что-то неладно в ядре и изменение типа i/o шедулера почти не влияет на происходящее...

[TuxWare]

В том, что уже было открыто работать можно. Просто ещё у меня и компьютер разогнан. Но открыть новое приложение - проблема. Выполнять хоть какие то операции в файловом менеджере невозможно вообще. Вызвать другой файловый менеджер и в нем поработать - невозможно. Но с терминала можно ещё запустить какое нибудь копирование и тогда все, иду пить кофе.

У меня проблема появилась на SUSE 10.3. В этой версии было единственное нововведение, по сравнению с 10.2 - libata.

[sirocco]

Это про то же или нет?
http://www.opennet.ru/opennews/art.shtml?num=19790

[TuxWare]

Это про то же или нет?
http://www.opennet.ru/opennews/art.shtml?num=19790

Про то

[alexdsp]

Это про то же или нет?
http://www.opennet.ru/opennews/art.shtml?num=19790

Уфф... это будет просто здорово, если наконец эту проблему исправят... Это же, на самом деле, только вершина айсберга, понемножку, но производительность страдала везде, не только при максимальной загрузке I/O. У меня даже начали зарождаться грешные мысли, а не попробовать ли ядро 2.4 Но раз в нас вселили оптимизма, то думаю, всё-таки дождёмся...

[drBatty]

Это про то же или нет?

похоже оно. у меня amule, он кино качает, как кино скачается, то переносится... Всё начинает жутко тормозить

PS: сейчас мышкой по кнопке "изменить" на форуме не попасть было - мышь дёргается. точнее курсор зависает, потом перескакивает. Переношу всего лишь 500Мб(2 файла по 250), а загрузка CPU 2-3%
вот какие цифры дала time:

time mv \[* /home/ftp/pub/music/

0.03user 3.89system 2:32.40elapsed 2%CPU (0avgtext+0avgdata 0maxresident)k 961162inputs+968688outputs (6major+217minor)pagefaults 0swaps

переносил с раздела на раздел, на одном диске(ext3->ext3)
только куллер на CPU воет, так-как процессор разогревается до 68-70градусов.

Код: Выделить всё

CPU Temp:  +68.5°C  (high = +80.0°C, hyst = +75.0°C)  [CPU diode ]

если не переносить ничего - холоднее намного.
материнская плата ASUS P5MX
диск ST не помню какой(если надо - гляну) 250Гб

[kidoz]

m/b: GA-P35-DS4 v2.0, Bios F13
cpu: C2D E7200
mem: 8gb
hdd: 2x750,0 Gb HDD Samsung (HD753LJ)
SATA в режиме ACHI
os. Gentoo amd64
kernel: 2.6.27-gentoo-r7
C HDD на HDD, если mc правельно пишет, ~100mb/s, файл размером 2Gb.
С USB-HDD на HDD ~30mb/s, файл размером ~7Gb.
Загрузка процессора минимальна.

[alexdsp]

m/b: GA-P35-DS4 v2.0, Bios F13
cpu: C2D E7200
mem: 8gb
hdd: 2x750,0 Gb HDD Samsung (HD753LJ)
SATA в режиме ACHI
os. Gentoo amd64
kernel: 2.6.27-gentoo-r7
C HDD на HDD, если mc правельно пишет, ~100mb/s, файл размером 2Gb.
С USB-HDD на HDD ~30mb/s, файл размером ~7Gb.
Загрузка процессора минимальна.

Парадокс был в том, что как раз при низкой загрузке процессора и iowait под 90%, ничего делать больше с компьютером было невозможно кроме как наслаждаться скоростью копирования. Очень хочется надеяться, что наконец это пофиксят

[kidoz]

Парадокс был в том, что как раз при низкой загрузке процессора и iowait под 90%, ничего делать больше с компьютером было невозможно кроме как наслаждаться скоростью копирования. Очень хочется надеяться, что наконец это пофиксят

Попробовал при копировании собирать программы и смотреть HD1080, загрузка около 50%. Помимо этого в фоне: gajim, xchat, mpd, firefox, torrent.

[sirocco]

Попробовал при копировании собирать программы и смотреть HD1080, загрузка около 50%. Помимо этого в фоне: gajim, xchat, mpd, firefox, torrent.

Эта бага встречается не у всех.

[gluk47]

А если не у всех, то точно проблемы не в железе?..

Хотя в теме упоминается проблема с asus P5B-e - у меня asus P5B, винты samsung и seagate на 250 Гб (sata), sata в биосе определено как ide.
При копировании 4гб файла (iso-образ) внутри раздела ext3 или же между разделами никаких тормозов - compiz, dolphin с открытием любой папки, firefox, ktorrent - не заметно.

Я на своём железе, начиная с мандривы 2007.1 таких проблем не наблюдал.

[sirocco]

А если не у всех, то точно проблемы не в железе?..

Проще написать, чем прочитать всё с начала?

Для тех, кто в танке :

... разработчики определили причину трудноуловимой и давно мешающей ошибки,...

[gluk47]

Проще написать, чем прочитать всё с начала?

Для тех, кто в танке :

... разработчики определили причину трудноуловимой и давно мешающей ошибки,...

Прокрутил несколько сообщений из темы, как выяснилось, зря. Каюсь

[TuxWare]

Решение проблемы похоже временно отменяется. Как я понял Jens Axboe прислал пару патчей, но дальше заниматься этим он не в состоянии из-за отсутствия времени. В какой степени эти патчи решают проблему неизвестно. Ищут разработчика ядра из коммерческих структур, который занялся бы этим. Redhat и Canonical не дали никаких ответов. С Novell не известно вообще ничего. Виват (или Аминь).
В связи с этим возникает вопрос — есть ли перешедшие на ядра 2.6.16, и как гладко проходит процесс отката?

[sirocco]

Ещё вариант решения?
http://rudd-o.com/en/linux-and-free-softwa...how-to-fix-that

[rm_]

Судя по ответам в этой теме и в баг-репорте, проблемы исключительно у владельцев Интеловских чипсетов.
Я тоже, на компьютере с Core2Duo и материнской платой ASUS P5KR (Intel Corporation 82G33/G31/P35/P31 Express), встречал описанное поведение.
При нагрузке на диск даже печатается с лагами, некоторые клавиши после нажатия "залипают", к примеру пишешь "top", нажал t, o, p, но не тут-то было, "o" для системы на несколько секунд залипает в нажатом положении, и на экране появляется "tooooooooooooooooooooooooooooooo".
Но на том компьютере используется ещё и шифрование корневой ФС и я думал, что дело в нём.

На других компьютерах (с процессорами Athlon, Phenom и чипсетами от nVidia и AMD) этого бага нет.

[ivan1986]

У меня атлон с чипстом nForce3, бага есть, так что не только интеловские чипсеты

[alexdsp]

У меня атлон с чипстом nForce3, бага есть, так что не только интеловские чипсеты

У меня тоже, обычный атлон x2 64 2ГГц, чипсет MCP51 geforce 6150 (это один из нфорсов со встроенным видео, правда встроенное видео отключено, но не суть важно) Операционная система - Arch-linux, полностью обновлённый до текущего состояния. Ядро ванильное 2.6.28.4
Баг есть, но не могу сказать, что он вопиющий. Но всё же очень неприятно.
То есть, то что залипают клавиши и дёргается мышка - такого нет. Всё нормально. Но всё равно, система сильно затормаживается. Например старт новых приложений занимает десятки секунд, а то и до минуты. При том, что в винХР всё прозрачно, при таком копировании того же файла (с поправкой, конечно на NTFS). Все эксперименты старался делать сразу после холодного старта операционок, чтобы приложения стартовали с диска, а не из кэша. Чертовски обидно это всё...

[sirocco]

Вроде тема с багом ещё жива.
http://bugzilla.kernel.org/show_bug.cgi?id=12309
Впечатлил Comment #119

[rm_]

То есть, то что залипают клавиши и дёргается мышка - такого нет. Всё нормально. Но всё равно, система сильно затормаживается. Например старт новых приложений занимает десятки секунд, а то и до минуты.

Вот у меня есть подозрение, что в одну кучу тут мешают сразу несколько разных багов.
Всё же, некоторое замедление запуска других программ закономерно, из-за того, что случайный доступ диска в разы медленнее последовательного чтения/записи.
Но совсем другое дело, когда при доступе к диску текст с клавиатуры печатается с пропусками и дублями букв, или мышка ездит рывками.
Так что это как минимум два различных бага.

[alexdsp]

Вот у меня есть подозрение, что в одну кучу тут мешают сразу несколько разных багов.

Да мне в общем-то всё равно, тот этот баг или нет. Важно то, что проявляется он практически так же - отличия чисто количественные. Я же говорю, под вынь - не тормозит (то есть совсем), а с последними версиями ядра - тормозит. Мне это крайне досадно, тем более, что дома линуксом я пользуюсь много чаще чем виндовс.
Я далёк от политических, религиозных и терминологических войн, я не разработчик ядра, и меня бы (да и большинство остальных людей) попросту удовлетворило бы хоть какое-то осмысленное решение проблемы, а не на уровне бубна

[rm_]

а с последними версиями ядра - тормозит

Попробуйте поставить более старую версию ядра. Найдите две максимально близкие: с которой ещё не тормозит, и с которой уже да.
Далее либо почитать чейнджлоги, либо (самый верный способ) - git bisect, и выход на конкретный коммит, с которого началась проблема.
Или, по крайней мере, сообщите номера этих двух версий сюда.

[alexdsp]

Попробуйте поставить более старую версию ядра. Найдите две максимально близкие: с которой ещё не тормозит, и с которой уже да.

Это всё приличный объём экспериментов, на которые мне сейчас трудно выделить время. Да и к тому же, не факт, что старая версия ядра заработает на моём железе. По моему, то что я видел в разных обсуждениях на форумах по этой проблеме - всё это началось где-то на ядрах позже 2.6.18

[ivan1986]

Мне очень неплохо помог патч
http://bugzilla.kernel.org/attachment.cgi?id=20172 накладывал на 2.6.29-rc3
Не идеально конечно но копирование систему в даун не уводит, увеличились правда тормоза, когда прога была в свопе и активная нагрузка на винт идет, но это только при активации, еще из субъективного - до патча во время компиляции psi был момент, когда музыка захлебывалась, с патчем такого не происходит. WA в vmstat еще скачет, но все стало намного лучше, так что пока баг не исправят - помоему должно подойти

[AleXXandEr]

та же проблема, при копировании:
Cpu(s): 10.9%us, 6.2%sy, 0.0%ni, 22.9%id, 59.6%wa, 0.2%hi, 0.2%si, 0.0%st

давно рою эту тему, у мя используется модуль pata_marvell, думал изза него, но судя по чужим постам, похоже нет
железо: msi neo p35

ivan1986: попробую, завтра отпишусь, надеюсь поможет

[AleXXandEr]

не помогло, всё также

[drBatty]

Всё же, некоторое замедление запуска других программ закономерно, из-за того, что случайный доступ диска в разы медленнее последовательного чтения/записи.
Но совсем другое дело, когда при доступе к диску текст с клавиатуры печатается с пропусками и дублями букв, или мышка ездит рывками.

а мне кажется, что это один баг - если я копирую под юзером большой файл, то у меня даже root'овая консоль тормозит. Процессор сильно загружен чем-то глубоко внутри ядра, и потому всё медленно работает.

PS: а почему программы медленно грузятся? там-же читать немного надо.

[rm_]

если я копирую под юзером большой файл, то у меня даже root'овая консоль тормозит. Процессор сильно загружен чем-то глубоко внутри ядра, и потому всё медленно работает.

Так в том-то и дело, что у некоторых встаёт в ступор аж так, что консоль и мышка тормозят, а у других такого нет, и всего лишь новые программы чуть медленнее запускаются, но они тем не менее валят свои симптомы и конфиги в один багрепорт с первыми.

[TuxWare]

Так в том-то и дело, что у некоторых встаёт в ступор аж так, что консоль и мышка тормозят, а у других такого нет, и всего лишь новые программы чуть медленнее запускаются, но они тем не менее валят свои симптомы и конфиги в один багрепорт с первыми.

Проблема у всех одна: высокий iowait. Проявления разные. У одних sata2 пишут на скорости 25 Мб/с при нормальном отклике системы; у других скорости диска нормальные, а отклик системы может доходить до минут; и прочие вариации.

[AlexYeCu]

А еще интересно у представителей клана Федора нет таких проблем? Просто я нигде не видел конкретного указания ОС: Fedora или ASPLinux.

Есть такое. Скорость копирования нормальная, но отзывчивость системы очень сильно падает на время копирования. Что примечательно, процессор ощутимо жрётся иксами во время копирования. Почему — загадка. На Fedora core 6 такого не замечал. core2duo E8500, 2GB, iP45, F8 (точнее уже F9 и в ожидании F11 потихоньку превращается в F10).