100% загрузка CPU при работе HDD (Тормозит при копировании. Что не так?)

[no0b]

Сабж, собсно.

Я во всех этих железячно-компутерных делах не сильно разбираюсь, но подозреваю, что это не правильно. Куда бы ткнуть, чтоб стало нормально?

[Juliette]

/ets/fstab для начала в студию+ man hdparm , если разбираетесь в железе
УПС - не сразу углядела, что вы написали
Если не очень разбираетесь, тогда дайте плз, вывод:

hdparm -tT /dev/<ваш хард>

А мужики щас глянут

[DiS]

Чё за железо? В подробностях, но без излишеств.

[MadDog]

К вопросу DiS13
И что, куда и в каких объёмах копируете?

[no0b]

В fstab у меня ничего интересного вроде.

#cat /etc/fstab|grep hdc

/dev/hdc11 / ext3 defaults,errors=remount-ro 0 1
/dev/hdc10 none swap sw 0 0
/dev/hdc5 /mnt/hdc5 vfat rw,user,nosuid,auto,gid=100,uid=1000,umask=0002,iocharset=utf8 0 0

# hdparm -tT /dev/hdc

/dev/hdc:
Timing cached reads: 258 MB in 2.01 seconds = 128.10 MB/sec
Timing buffered disk reads: 26 MB in 3.16 seconds = 8.23 MB/sec

Железо:
Винт Samsung на 80Гб, PATA (SP8004h). Материнская плата Chaintech 7VJD2 (под сокет А еще).

Копирую, например, видео (несколько сот метров). В принципе, куда угодно. Хоть на другой раздел, хоть в пределах одного -- без разницы.

Ось: этч январьский.

[DiS]

А оперативы скока? А проц? Ну и софтец установленный опишите. И какой процесс ресурсы кушает?

[Omnifarious]

А режим dma для диска включен? Какой-то очень маленький Timing buffered disk reads. Хочется увидеть вывод hdparm -I /dev/hdc

[no0b]

256Mb RAM, Duron 800. Софта много всякого.

Выглядит примерно так (выдержки из top):

До копирования:

Код:

Cpu(s): 8.0%us, 1.0%sy, 0.0%ni, 90.7%id, 0.0%wa, 0.3%hi, 0.0%si, 0.0%st %CPU COMMAND 3.7 Xorg 3.0 konqueror 1.7 gnome-terminal 0.7 top

Копирование:

Код:

Cpu(s): 22.1%us, 30.0%sy, 0.0%ni, 0.0%id, 43.9%wa, 4.0%hi, 0.0%si, 0.0%st %CPU COMMAND 26.9 kio_file 9.6 Xorg 4.3 gnome-terminal 4.3 konqueror 2.0 kio_uiserver 1.3 xfce4-panel

Это если в конке копировать-вставить нажать. Если cp использую, то же самое.

Код:

# hdparm -I /dev/hdc /dev/hdc: ATA device, with non-removable media Model Number: SAMSUNG SP0802N Serial Number: S00JJ60Y304890 Firmware Revision: TK200-04 Standards: Used: ATA/ATAPI-7 T13 1532D revision 0 Supported: 7 6 5 4 Configuration: Logical max current cylinders 16383 65535 heads 16 1 sectors/track 63 63 -- CHS current addressable sectors: 4128705 LBA user addressable sectors: 156368016 LBA48 user addressable sectors: 156368016 device size with M = 1024*1024: 76351 MBytes device size with M = 1000*1000: 80060 MBytes (80 GB) Capabilities: LBA, IORDY(can be disabled) Standby timer values: spec'd by Standard, no device specific minimum R/W multiple sector transfer: Max = 16 Current = ? Recommended acoustic management value: 254, current value: 0 DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 Cycle time: min=120ns recommended=120ns PIO: pio0 pio1 pio2 pio3 pio4 Cycle time: no flow control=240ns IORDY flow control=120ns Commands/features: Enabled Supported: * SMART feature set Security Mode feature set * Power Management feature set * Write cache * Look-ahead * Host Protected Area feature set * WRITE_BUFFER command * READ_BUFFER command * DOWNLOAD_MICROCODE SET_MAX security extension Automatic Acoustic Management feature set * 48-bit Address feature set * Device Configuration Overlay feature set * Mandatory FLUSH_CACHE * FLUSH_CACHE_EXT * SMART error logging * SMART self-test Security: Master password revision code = 65534 supported not enabled not locked not frozen not expired: security count supported: enhanced erase 28min for SECURITY ERASE UNIT. 28min for ENHANCED SECURITY ERASE UNIT. HW reset results: CBLID- above Vih Device num = 0 determined by the jumper Checksum: correct

[MadDog]

Timing cached reads: 258 MB in 2.01 seconds = 128.10 MB/sec
Timing buffered disk reads: 26 MB in 3.16 seconds = 8.23 MB/sec

А можно посмотреть вывод

user@localhost

$ hdparm /dev/hdc

P.S. Может быть это моё субъективное мнение, но на ext3 приходилось наблюдать подтормаживание системы. На рейзере я такого никогда не замечал. Но это так, информация к размышлению и не более.

[no0b]

Код:

hdparm /dev/hdc /dev/hdc: multcount = 0 (off) IO_support = 1 (32-bit) unmaskirq = 1 (on) using_dma = 1 (on) keepsettings = 0 (off) readonly = 0 (off) readahead = 256 (on) geometry = 16383/255/63, sectors = 156368016, start = 0

FS может в чем и виновата, но fat32 тормозит так же. И, насколько я знаю, под винду драйверов reiser до сих пор нет. Это критично.

[(asper]

...под винду драйверов reiser до сих пор нет. Это критично.

Где-то на форуме проскакивало, есть плагин для total commander
http://www.ghisler.com/plugins.htm
http://www.totalcmd.net/plugring/ext2fsreiser.html

[MadDog]

Хм, пока непонятно. Продолжаем дальше.
1) Тормозило всегда или началось с какого-то момента?
2) под виндой так же идёт нагрузка процессор?
3) Шлейф от винта какой используете?
4) Визуальный осмотр материнки проводили? Может где кондёры потекли (мамка не новая уже)?

И, насколько я знаю, под винду драйверов reiser до сих пор нет. Это критично.

А под ext3 что уже умеет писать? Раньше только вроде бы обеспечивало чтение.

[Mellon]

посмотрите данные SMART (проги ide-smart, smartmontools)

честно гря, за весь период общения с компами у мну сложилась стойкая не приязнь к gnusmas'ам очень уж прикольно они глючили

[(asper]

А под ext3 что уже умеет писать? Раньше только вроде бы обеспечивало чтение.

Умеет, но лучше имхо этого не делать

[no0b]

По-видимому, тормозило всегда, только раньше не замечал. Под другими ОС (suse 10.0, windows xp) картина та же, скорость копирования примерно такая же (не глаз).

Про железо. Шлейф "новый" (их тогда ata 66, кажется, называли). Мать вроде в порядке, хоть и действительно древняя.

Про smart я ничего не понимаю, поэтому вывалю всю простыню:

Код:

#smartctl -a /dev/hdc smartctl version 5.36 [i686-pc-linux-gnu] Copyright © 2002-6 Bruce Allen Home page is http://smartmontools.sourceforge.net/ === START OF INFORMATION SECTION === Device Model: SAMSUNG SP0802N Serial Number: S00JJ60Y304890 Firmware Version: TK200-04 User Capacity: 80,060,424,192 bytes Device is: In smartctl database [for details use: -P show] ATA Version is: 7 ATA Standard is: ATA/ATAPI-7 T13 1532D revision 0 Local Time is: Wed Jun 6 17:08:19 2007 KRAST ==> WARNING: May need -F samsung or -F samsung2 enabled; see manual for details. SMART support is: Available - device has SMART capability. SMART support is: Enabled === START OF READ SMART DATA SECTION === SMART overall-health self-assessment test result: PASSED General SMART Values: Offline data collection status: (0x00) Offline data collection activity was never started. Auto Offline Data Collection: Disabled. Self-test execution status: ( 0) The previous self-test routine completed without error or no self-test has ever been run. Total time to complete Offline data collection: (3000) seconds. Offline data collection capabilities: (0x1b) SMART execute Offline immediate. Auto Offline data collection on/off support. Suspend Offline collection upon new command. Offline surface scan supported. Self-test supported. No Conveyance Self-test supported. No Selective Self-test supported. SMART capabilities: (0x0003) Saves SMART data before entering power-saving mode. Supports SMART auto save timer. Error logging capability: (0x01) Error logging supported. No General Purpose Logging support. Short self-test routine recommended polling time: ( 1) minutes. Extended self-test routine recommended polling time: ( 50) minutes. SMART Attributes Data Structure revision number: 16 Vendor Specific SMART Attributes with Thresholds: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000f 100 100 051 Pre-fail Always - 2 3 Spin_Up_Time 0x0007 100 100 025 Pre-fail Always - 4224 4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 318 5 Reallocated_Sector_Ct 0x0033 100 100 011 Pre-fail Always - 0 7 Seek_Error_Rate 0x000f 100 100 051 Pre-fail Always - 0 8 Seek_Time_Performance 0x0025 100 100 015 Pre-fail Offline - 0 9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 370320 10 Spin_Retry_Count 0x0033 100 100 051 Pre-fail Always - 0 11 Calibration_Retry_Count 0x0012 100 100 000 Old_age Always - 0 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 181 194 Temperature_Celsius 0x0022 115 097 000 Old_age Always - 41 195 Hardware_ECC_Recovered 0x001a 100 100 000 Old_age Always - 41818881 196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0 197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0030 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 12 200 Multi_Zone_Error_Rate 0x000a 100 100 051 Old_age Always - 0 201 Soft_Read_Error_Rate 0x000a 100 100 051 Old_age Always - 0 SMART Error Log Version: 1 ATA Error Count: 4772 (device log contains only the most recent five errors) CR = Command Register [HEX] FR = Features Register [HEX] SC = Sector Count Register [HEX] SN = Sector Number Register [HEX] CL = Cylinder Low Register [HEX] CH = Cylinder High Register [HEX] DH = Device/Head Register [HEX] DC = Device Command Register [HEX] ER = Error register [HEX] ST = Status register [HEX] Powered_Up_Time is measured from power on, and printed as DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes, SS=sec, and sss=millisec. It "wraps" after 49.710 days. Error 4772 occurred at disk power-on lifetime: 2461 hours (102 days + 13 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 04 51 00 00 4f c2 a0 Error: ABRT Commands leading to the command that caused the error were: CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name -- -- -- -- -- -- -- -- ---------------- -------------------- b0 da 00 00 4f c2 a0 00 02:37:44.563 SMART RETURN STATUS c8 00 08 de c1 52 e5 00 02:33:45.375 READ DMA c8 00 08 a6 02 56 e5 00 02:26:29.813 READ DMA c8 00 08 6e 52 55 e5 00 02:26:29.750 READ DMA ca 00 01 e9 13 00 e0 00 02:22:07.000 WRITE DMA Error 4771 occurred at disk power-on lifetime: 2460 hours (102 days + 12 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 04 51 00 00 4f c2 a0 Error: ABRT Commands leading to the command that caused the error were: CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name -- -- -- -- -- -- -- -- ---------------- -------------------- b0 da 00 00 4f c2 a0 00 01:37:33.125 SMART RETURN STATUS ca 00 08 c9 a3 01 e0 00 01:37:33.125 WRITE DMA c8 00 08 2e 13 54 e5 00 01:37:30.125 READ DMA c8 00 08 36 13 54 e5 00 01:37:30.125 READ DMA c8 00 08 16 13 54 e5 00 01:37:30.125 READ DMA Error 4770 occurred at disk power-on lifetime: 2459 hours (102 days + 11 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 04 51 00 00 4f c2 a0 Error: ABRT Commands leading to the command that caused the error were: CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name -- -- -- -- -- -- -- -- ---------------- -------------------- b0 da 00 00 4f c2 a0 00 00:37:21.625 SMART RETURN STATUS ca 00 01 89 24 2b e0 00 00:37:19.750 WRITE DMA ca 00 03 51 24 2b e0 00 00:37:19.750 WRITE DMA ca 00 01 81 24 2b e0 00 00:37:19.750 WRITE DMA ca 00 03 61 24 2b e0 00 00:37:19.750 WRITE DMA Error 4769 occurred at disk power-on lifetime: 2459 hours (102 days + 11 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 04 51 00 00 4f c2 a0 Error: ABRT Commands leading to the command that caused the error were: CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name -- -- -- -- -- -- -- -- ---------------- -------------------- b0 da 00 00 4f c2 a0 00 18:54:58.875 SMART RETURN STATUS c8 00 08 6e b7 54 e5 00 18:54:00.875 READ DMA c8 00 08 e6 6a 5e e5 00 18:53:06.313 READ DMA c8 00 08 5e 11 57 e5 00 18:51:51.563 READ DMA c8 00 08 16 6d 5f e5 00 18:51:51.375 READ DMA Error 4768 occurred at disk power-on lifetime: 2458 hours (102 days + 10 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 04 51 00 00 4f c2 a0 Error: ABRT Commands leading to the command that caused the error were: CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name -- -- -- -- -- -- -- -- ---------------- -------------------- b0 da 00 00 4f c2 a0 00 17:54:47.563 SMART RETURN STATUS c8 00 08 73 3c 29 e0 00 17:54:47.500 READ DMA c8 00 10 ac d8 1d e0 00 17:54:47.500 READ DMA c8 00 11 7b d8 1d e0 00 17:54:47.500 READ DMA c8 00 58 23 d8 1d e0 00 17:54:47.500 READ DMA SMART Self-test log structure revision number 1 No self-tests have been logged. [To run self-tests, use: smartctl -t] Device does not support Selective Self Tests/Logging

[DiS]

А без иксов тоже тормозит?

[no0b]

А без иксов тоже тормозит?

Да.

[anonymous.ru]

Очень интересно.
Хм.. Какие есть варианты.
ну во впервых что касается загрузки процессора, я бы глянул соотношение соотношение процентов процессорного времени в режиме ядра (sys) и в режиме пользователя (usr)
Если проблемы из за харда, то на sys должно тратиться ну очень много процентов, порядка так 80%
Дальше нужно глянуть количество физического ввода вывода на диск
sar -d 5 5 (или что там в линуксе для этого есть?)
если очереди к дискам большие (больше 3- это плохо, надо капать дальше)
можно глянуть процент попадания в буферный кеш
sar -b 5 5 (или опять таки не знаю как там в линуксе)
если процент попадания маленький, может быть попробывать увеличить размер буферного кеша?
Дальше.. что это в принципе может быть.
1) опции монтирования fs, тоесть при монтирования сказано работать синхронно либо мимо буферного кеша - как следствие генерация большего количества физического ввода - вывода
2) маленький буферный кеш или случайный ввод вывод на fs
3) активный свопинг, надо глянуть vmstat посмотреть количество вытесненных страниц в секунду.

[no0b]

Процессор делится так: sy+us ~= 50% (примерно поровну), под 50 wa. Тут появляется вопрос, стоит ли считать wa загрузкой, или ну его нафиг?

Проверил про своп. Памяти свободно около 100 метров, в свопе 30. Вроде не должно.

sar у меня не запускается, как-то встал неудачно.

[Хрюндель]

А что является очередью к дискам?

Код: Выделить всё

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:       dev3-0     52.68      1.39  44846.38    851.35     31.42    607.92     11.94     62.92
Average:      dev3-64    216.56  44771.38     93.58    207.17      2.85     13.17      4.34     94.05
Average:       dev2-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Вот какая у меня тут "очередь"?

[anonymous.ru]

А что является очередью к дискам?

Код: Выделить всё

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:       dev3-0     52.68      1.39  44846.38    851.35     31.42    607.92     11.94     62.92
Average:      dev3-64    216.56  44771.38     93.58    207.17      2.85     13.17      4.34     94.05
Average:       dev2-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Вот какая у меня тут "очередь"?

avgqu-sz - The average queue length of the requests that were issued to the device.

очередь 3 и больше - плохо потому что запрос фактически стоит в очереди в разы больше времени чем реально обрабатывается на устройстве, что и видно из твоего листинга
очередь -> 31.42 - время ожидания -> 607.92 -среднее время обработки одного запроса -> 11.94
тоесть фактически мы ждем в почти в шесть раз дольше чем нас реально обрабатывают )

Процессор делится так: sy+us ~= 50% (примерно поровну), под 50 wa. Тут появляется вопрос, стоит ли считать wa загрузкой, или ну его нафиг?

Проверил про своп. Памяти свободно около 100 метров, в свопе 30. Вроде не должно.

sar у меня не запускается, как-то встал неудачно.

а что говорит top?
кто там в пятерки лидеров?
кто жрет проц.время в юзерспейс?

а что там с опциями монтирования? mount -v скажет?

[no0b]

а что говорит top?
кто там в пятерки лидеров?
кто жрет проц.время в юзерспейс?

а что там с опциями монтирования? mount -v скажет?

Выше приведены выдержки из fstab и top.

[anonymous.ru]

Выше приведены выдержки из fstab и top.

угу ) спасибо. я был невнимателен.
wa - это время потраченное в ожидании ввода вывода, по большему счету проц ничего не делала, просто ждали )
тоесть - медленное устройство. (может быть)
iostat работает? что говорит?

[no0b]

wa - это время потраченное в ожидании ввода вывода, по большему счету проц ничего не делала, просто ждали )
тоесть - медленное устройство. (может быть)

Вопрос в том, мог ли он в это время заниматься чем-то другим? Но даже если мог, суть не меняется -- все равно нагрузка подскакивает до 50%.

Код:

$ iostat Linux 2.6.18-3-k7 (debian) 06/06/2007 avg-cpu: %user %nice %system %iowait %steal %idle 17.09 0.12 3.72 1.64 0.00 77.42 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn hdc 5.40 175.65 142.97 2685769 2186053

[anonymous.ru]

Вопрос в том, мог ли он в это время заниматься чем-то другим?

Да, мог ) стопудов. если бы было чем

Но даже если мог, суть не меняется -- все равно нагрузка подскакивает до 50%.

ну название темы бы звучало уже не так страшно

Код:

$ iostat Linux 2.6.18-3-k7 (debian) 06/06/2007 avg-cpu: %user %nice %system %iowait %steal %idle 17.09 0.12 3.72 1.64 0.00 77.42 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn hdc 5.40 175.65 142.97 2685769 2186053

Это твой iostat во время пиковой нагрузки? во время копирования?
сделай
iostat 5 5
Забавно что у тебя %idle 77.42



А что ты копируешь?
много маленьких файлов или немного больших?
Советую найти способ оценить процент попадания в буферный кеш при чтении и при записи.
Можно попробовать увеличить размер кеша

[Хрюндель]

Код: Выделить всё

Можно попробовать увеличить размер кеша

anonymous.ru, а как бы вот это сделать то?

[phoen1x]

помоему жесткий диск просто стал работать в PIO режиме, монжо попробовать поменять шлейф или жесткий диск повесить на другой IDE канал, если не поможет то значит чтото с самим жестким диском. У меня недавно сидиром вдруг стал работать в пио режиме, при копировании с него чего нибудь система начинала жутко тормозить аж курсор тормозил, но после нескольких дней вернулся в ДМА режим и все стало нормально

[pktfag]

оффтоп:

И, насколько я знаю, под винду драйверов reiser до сих пор нет. Это критично.

YAReG - Yet Another R(eiser)FStool GUI - под виндой пользуюсь иногда, никаких проблем нет.

[anonymous.ru]

anonymous.ru, а как бы вот это сделать то?

Ну поскольку тема находиться не в разделе "Вопрос новичка"
Я могу отделаться банальным:
man sysctl
man proc


Мне кажется очень забавным то, что каждый уважающий себя Линуксойд знает как пересобрать ядра, но только единицы в курсе что есть еще динамически настраиваемые параметры ядра.


Важно!
Увеличение размера буферного кеша может отрицательно сказаться на производительности системы по двум причинам:
1) чем больше кэш - тем больше времени требуется на поиск блока в памяти
2) чем больше кеш, тем меньше памяти остается процессам - тем больше свопинг

Если мы хотим менять размер буферного кеша через /proc
нас интересует файл

/proc/sys/vm/buffermem

Здесь происходит управление количеством общей системной памяти (в
процентах), которая будет использована как буферная память. Файл
содержит три значения, которые могут быть указаны в виде списка через
пробел:
1. Минимальный процент памяти, которая будет использована для буфера
2. Система будет пытаться установить это количество памяти для буфера
если количество доступной памяти будет уменьшено
3. Максимальный процент памяти, которая будет использована для
буферов

Default setting: 2 10 60

Удачи

2 no0b

попробуй поиграть с опциями монтирования ext3
попробуй так : data=writeback
или даже так : noatime,data=writeback