Быстрая смерть HDD (Сервер создает большую нагрузку чтения/записи на диск)

IDE, SATA, SCSI, внешние USB-HDD, SSD, USB-Flash накопители

Модератор: Модераторы разделов

Ответить
texnicii
Сообщения: 35

Быстрая смерть HDD

Сообщение texnicii »

Сервер под управлением CentOS 5 x64, на диске фс ext3.
Сервер создает большую нагрузку чтения/записи на жесткий диск (диски летят примерно раз в пол года).
Вопрос: Как лучше решить эту проблему, какими технологиями?
Спасибо сказали:
Аватара пользователя
broom
Бывший модератор
Сообщения: 1629
Статус: мизантроп.ка
ОС: Gentoo

Re: Быстрая смерть HDD

Сообщение broom »

Возможно, поможет рассказать:
— какие жёсткие диски используете.
— что значит "вылетают"? как вы этого выявляете?
— что за ПО создаёт такую нагрузку (возможно, его работу можно оптимизировать?)
but in the darkness, behind your smile, you scream... © Dio
Спасибо сказали:
texnicii
Сообщения: 35

Re: Быстрая смерть HDD

Сообщение texnicii »

broom писал(а):
15.06.2012 10:52
Возможно, поможет рассказать:
— какие жёсткие диски используете.
— что значит "вылетают"? как вы этого выявляете?
— что за ПО создаёт такую нагрузку (возможно, его работу можно оптимизировать?)


Device Model: ST31000524AS
Serial Number: 5VPA3CDQ
Firmware Version: JC45
User Capacity: 1 000 204 886 016 bytes
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: 8
ATA Standard is: ATA-8-ACS revision 4
Local Time is: Fri Jun 15 11:08:05 2012 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

fdisk -l /dev/sda

Диск /dev/sda: 1000.2 ГБ, 1000204886016 байт
255 heads, 63 sectors/track, 121601 cylinders
Единицы = цилиндры по 16065 * 512 = 8225280 байт

Устр-во Загр Начало Конец Блоки Id Система
/dev/sda1 * 1 13 104391 83 Linux
/dev/sda2 14 1318 10482412+ 83 Linux
/dev/sda3 1319 2623 10482412+ 83 Linux
/dev/sda4 2624 121601 955690785 5 Расширенный
/dev/sda5 2624 2884 2096451 83 Linux
/dev/sda6 2885 3015 1052226 83 Linux
/dev/sda7 3016 4277 10136983+ 82 Linux своп / Solaris
/dev/sda8 4278 121601 942404998+ 83 Linux

Нагрузку создает специфическое ПО разбора и записи статистики веб ресурса.
Вылетают - значит отказывает файловая система, судя по smart`у количества ошибок чтения/записи очень много.

ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 116 099 006 Pre-fail Always - 110842336
3 Spin_Up_Time 0x0003 100 100 000 Pre-fail Always - 0
4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 31
5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 0
7 Seek_Error_Rate 0x000f 084 060 030 Pre-fail Always - 302930745
Спасибо сказали:
Ism
Сообщения: 1261
Статус: Никто, по сути быдло

Re: Быстрая смерть HDD

Сообщение Ism »

texnicii писал(а):
15.06.2012 10:37
Сервер под управлением CentOS 5 x64, на диске фс ext3.
Сервер создает большую нагрузку чтения/записи на жесткий диск (диски летят примерно раз в пол года).
Вопрос: Как лучше решить эту проблему, какими технологиями?


Решение одно , кеширование и настройка ext4

Вынесите все временные файлы в оперативную память через tmpfs
http://ru.wikipedia.org/wiki/Tmpfs

Настройка отложенной записи на диск
http://adw0rd.ru/2012/ssd-on-linux/

Есть свойство commit у ext4 , тоже кажется время , когда накопленные данные сбрасываются на диск
http://www.gentoo.ru/node/23522
Спасибо сказали:
ShadowFlash
Сообщения: 162
ОС: Kubuntu 14.04 LTS, MacOS 10.9

Re: Быстрая смерть HDD

Сообщение ShadowFlash »

texnicii писал(а):
15.06.2012 11:12
broom писал(а):
15.06.2012 10:52
Возможно, поможет рассказать:
— какие жёсткие диски используете.
— что значит "вылетают"? как вы этого выявляете?
— что за ПО создаёт такую нагрузку (возможно, его работу можно оптимизировать?)


Device Model: ST31000524AS
Serial Number: 5VPA3CDQ

ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 116 099 006 Pre-fail Always - 110842336
3 Spin_Up_Time 0x0003 100 100 000 Pre-fail Always - 0
4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 31
5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 0
7 Seek_Error_Rate 0x000f 084 060 030 Pre-fail Always - 302930745

По части смарта - здоровый новенький сигейт, 31 раз останавливался-запускался.
Атрибуты 1 и 7 у сигейтов показывают количество ошибок чтения, скорректированных системой коррекции ошибок. Ошибки при чтении это норма для любого носителя информации, особенно для современных HDD с их чудовищной плотностью записи. Страшны лишь те ошибки, которые электроника диска не может скорректировать. Так что эти параметры у сигейта - что-то вроде одометра у автомобиля - просто растут со временем работы диска.
А вот остальное стоило бы показать, особенно температуру.

Мне еще ни разу не попадался диск, у которого заклинило блок головок, кроме стукнутых.
Два диска, один файлопомойкой был, на другом база данных, сотни тысяч обращений в минуту.
Оба отходили 15 лет 24/7 и живы до сих пор.
А вот заклиненный от перегрева шпиндель двигателя - обычное явление, равно как и бэдблоки от плохого контакта в цепи питания.

Так что смотреть охлаждение, питание и прочее.
Спасибо сказали:
texnicii
Сообщения: 35

Re: Быстрая смерть HDD

Сообщение texnicii »

Спасибо всем за понятное объяснение.
Спасибо сказали:
Makedonas
Сообщения: 1
ОС: Linux Centos, Windows

Re: Быстрая смерть HDD

Сообщение Makedonas »

texnicii писал(а):
16.06.2012 13:35
Спасибо всем за понятное объяснение.


Здравствуйте. Centos 6.5. x86. Та же ситуация с HDD. Пол года и диск летит. В чем была проблема?
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Быстрая смерть HDD

Сообщение azsx »

Makedonas
а)

Код: Выделить всё

sudo apt-get install sysstat
iostat -d 2 6

6 - это колличество тестов. Важный момент когда вы покажете результаты этого теста вам как раз легко скажут есть у вас проблема с записью на винты или нет.
б)
sudo apt-get install hddtemp
hddtemp /dev/sda

важный момент, может там у вас печка, сразу и понятно будет. Или в смарте посмотрите температуру и наработку.
в) у меня лично давно один хитачи на 2 тб загорелся красненьким и ни разу больше года и не гас толком (виртуалки, нагруженные 6 машин которые все работали с винтом под коробкой). И потом я этот винт еще часто использовал. Потом, внезапно, я узнал комманду смарт и у меня куча винтов было выкинуто из-за ошибок (я стал волноваться за данные). Последнее время, мне начинает казаться, что смарт показывает какую то фигню. Это мое мнение я могу и ошибаться.
г) насчет оптимизации логов - ну там всё просто. Откройте пожалуйста фал логов.
ip, date - можно сократить в файле просто, заменив к примеру ip буквами алфавита, дату на сокращенную компьютерную дату.
user агенты, url могут быть элементарно сокращены путем дполнительных таблиц. То есть данные там в основном одинаковые, можно иметь вторую таблицу и обращаться к данным по номеру, а не перебирая полную строку лога.
строка поиска с яндекса, гугла - нафига ваще нужна если она всё равно зашифрована? Только если вы подбором расшифровываете их.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current
Контактная информация:

Re: Быстрая смерть HDD

Сообщение drBatty »

texnicii писал(а):
15.06.2012 10:37
Сервер создает большую нагрузку чтения/записи на жесткий диск (диски летят примерно раз в пол года).
Вопрос: Как лучше решить эту проблему, какими технологиями?

технология называется DRAM, проще говоря: нужно больше памяти!
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
ShadowFlash
Сообщения: 162
ОС: Kubuntu 14.04 LTS, MacOS 10.9

Re: Быстрая смерть HDD

Сообщение ShadowFlash »

Ну на самом деле сначала надо выяснить от чего помирает - перегрев или от непрерывной работы как под стресс тестом - постоянные запись-чтение мелких блоков информации. Если первое - охлаждение обеспечить. Если второе - смотреть, от чего оно - если не хватает памяти и свопится система, тогда да - памяти добавлять. Если же запросов много и оттого обращений к диску, надо как-то кэширование лучше организовать, чтобы не сразу к диску обращалось, а таки к кэшу, а сбрасывалась информация большими блоками. Тут уже вопрос в том, что за софт стоит.
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Быстрая смерть HDD

Сообщение azsx »

ShadowFlash топик тс от 2012 года, наверное не ответит уже.
Спасибо сказали:
ShadowFlash
Сообщения: 162
ОС: Kubuntu 14.04 LTS, MacOS 10.9

Re: Быстрая смерть HDD

Сообщение ShadowFlash »

Так его же продолжил человек с той же проблемой и с довольно невнятным ее описанием.
Спасибо сказали:
Ответить