Ubuntu Server Диагностика сбоев

[Denisiuk]

Здравствуйте. Имеется сервер с Ubuntu Server. Раньше он просто зависал каждую неделю и приходилось его перезагружать. Переустановил систему на LTS.
Но сейчас появилась намного более неприятная ситуация.
После зависания приходится снимать винчестеры и делать проверку дисков. Только после этого они снова начинают монтироваться при загрузке ОС.
С чего мне стоит начать диагностику, чтобы это все вылечить? Больше всего беспокоит то, что это сервер и должен работать всегда и без перебоев, а каждые 2 недели он уходит в даун И почему-то не хочет сам делать проверку дисков при загрузке, просто говорит, что не может примонтировать..
Спасибо.

[Ленивая Бестолочь]

ммм.

ну почитайте логи после зависания, особенно messages, нет ли там чего интересного.
у зависшего сервера консоль доступна? там могут так же быть интересные сообщения.
зависает как - совсем нафиг или просто оооочень медленно работает?
поставьте какой-нибудь инструмент для мониторинга. хотя бы sysstat. он будет писать состояние сервера - нагрузку на проц, диски, память. может быть увидите какой-нибудь пик, который натолкнёт на мысль.

про диски - покажите fstab.

[Denisiuk]

Наконец-то добрался до сервера. Должен заметить, что на сервере стоит плата видеозахвата для работы с видеокамерами и работает motion в режиме демона.

Сделал фото вывода на монитор.

Загрузился с CD и сделал чек диск рутового раздела:

Код: Выделить всё

GParted 0.3.8

Libparted 1.8.9

Check and repair filesystem (ext3) on /dev/sda1  00:00:05    ( SUCCESS )

calibrate /dev/sda1  00:00:00    ( SUCCESS )

path: /dev/sda1
start: 2048
end: 78125055
size: 78123008 (37.25 GiB)
check filesystem on /dev/sda1 for errors and (if possible) fix them  00:00:04    ( SUCCESS )

e2fsck -f -y -v /dev/sda1

root: recovering journal
Pass 1: Checking inodes, blocks, and sizes
Inodes that were part of a corrupted orphan linked list found. Fix? yes

Inode 920176 was part of the orphaned inode list. FIXED.
Inode 920185 was part of the orphaned inode list. FIXED.
Inode 920187 was part of the orphaned inode list. FIXED.
Inode 920190 was part of the orphaned inode list. FIXED.
Inode 920263 was part of the orphaned inode list. FIXED.
Deleted inode 1838596 has zero dtime. Fix? yes

Inode 1838613 was part of the orphaned inode list. FIXED.
Inode 1838627 was part of the orphaned inode list. FIXED.
Inode 1838630 was part of the orphaned inode list. FIXED.
Inode 1838631 was part of the orphaned inode list. FIXED.
Inode 1845311 was part of the orphaned inode list. FIXED.
Inode 1845315 was part of the orphaned inode list. FIXED.
Inode 1845326 was part of the orphaned inode list. FIXED.
Inode 1845330 was part of the orphaned inode list. FIXED.
Inode 1845335 was part of the orphaned inode list. FIXED.
Inode 1845863 was part of the orphaned inode list. FIXED.
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
Block bitmap differences: -(38912--39044) -44031 -3218107 -(3348480--3348502) -3351039 -3355135 -(3366912--3368216) -(4247070--4247082)
Fix? yes

Free blocks count wrong for group #1 (18676, counted=18810).
Fix? yes

Free blocks count wrong for group #98 (20126, counted=20127).
Fix? yes

Free blocks count wrong for group #102 (21044, counted=22374).
Fix? yes

Free blocks count wrong for group #129 (8657, counted=8670).
Fix? yes

Free blocks count wrong (9108845, counted=9110323).
Fix? yes

Inode bitmap differences: -920176 -920185 -920187 -920190 -920263 -1838596 -1838613 -1838627 -(1838630--1838631) -1845311 -1845315 -1845326 -1845330 -1845335 -1845863
Fix? yes

Free inodes count wrong for group #112 (21, counted=26).
Fix? yes

Free inodes count wrong for group #224 (839, counted=850).
Fix? yes

Free inodes count wrong (2343888, counted=2343904).
Fix? yes


root: ***** FILE SYSTEM WAS MODIFIED *****

102080 inodes used (4.17%)
592 non-contiguous inodes (0.6%)
# of inodes with ind/dind/tind blocks: 0/0/0
Extent depth histogram: 97045/46
654541 blocks used (6.70%)
0 bad blocks
1 large file

82342 regular files
13310 directories
59 character device files
26 block device files
0 fifos
526 links
6331 symbolic links (4891 fast symbolic links)
3 sockets
--------
102597 files
e2fsck 1.41.3 (12-Oct-2008)
grow filesystem to fill the partition  00:00:01    ( SUCCESS )

resize2fs /dev/sda1

Resizing the filesystem on /dev/sda1 to 9765376 (4k) blocks.
The filesystem on /dev/sda1 is now 9764864 blocks long.

resize2fs 1.41.3 (12-Oct-2008)

========================================

Последний час перед отключением /var/log/messages

Код: Выделить всё

Jun  4 18:09:17 titan kernel: [285513.579042] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:12:07 titan kernel: [285683.554191] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:13:58 titan kernel: [285794.509382] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:19:37 titan motion: [3] Closing video device /dev/video2
Jun  4 18:19:40 titan motion: [3] cap.driver: "bttv"
Jun  4 18:19:40 titan motion: [3] cap.card: "BT878 video (Kodicom 4400R (mas"
Jun  4 18:19:40 titan motion: [3] cap.bus_info: "PCI:0000:06:0d.0"
Jun  4 18:19:40 titan motion: [3] cap.capabilities=0x05000015
Jun  4 18:19:40 titan motion: [3] - VIDEO_CAPTURE
Jun  4 18:19:40 titan motion: [3] - VIDEO_OVERLAY
Jun  4 18:19:40 titan motion: [3] - VBI_CAPTURE
Jun  4 18:19:40 titan motion: [3] - READWRITE
Jun  4 18:19:40 titan motion: [3] - STREAMING
Jun  4 18:19:40 titan motion: [3] Supported palettes:
Jun  4 18:19:40 titan motion: [3] 0: GREY (8 bpp, gray)
Jun  4 18:19:40 titan motion: [3] 1: HI24 (8 bpp, dithered color)
Jun  4 18:19:40 titan motion: [3] 2: RGBO (15 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 3: RGBQ (15 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 4: RGBP (16 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 5: RGBR (16 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 6: BGR3 (24 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 7: BGR4 (32 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 8: RGB4 (32 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 9: YUYV (4:2:2, packed, YUYV)
Jun  4 18:19:40 titan motion: [3] 10: YUYV (4:2:2, packed, YUYV)
Jun  4 18:19:40 titan motion: [3] 11: UYVY (4:2:2, packed, UYVY)
Jun  4 18:19:40 titan motion: [3] 12: 422P (4:2:2, planar, Y-Cb-Cr)
Jun  4 18:19:40 titan motion: [3] 13: YU12 (4:2:0, planar, Y-Cb-Cr)
Jun  4 18:19:40 titan motion: [3] Selected palette YU12
Jun  4 18:19:40 titan motion: [3] index_format 8 Test palette YU12 (640x480)
Jun  4 18:19:40 titan motion: [3] Using palette YU12 (640x480) bytesperlines 640 sizeimage 460800 colorspace 00000000
Jun  4 18:19:40 titan motion: [3] found control 0x00980900, "Brightness", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Brightness", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980901, "Contrast", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Contrast", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980902, "Saturation", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Saturation", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980903, "Hue", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Hue", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x08000000, "chroma agc", range 0,1
Jun  4 18:19:40 titan motion: [3] #011"chroma agc", default 0, current 1
Jun  4 18:19:40 titan motion: [3] found control 0x08000001, "combfilter", range 0,1
Jun  4 18:19:40 titan motion: [3] #011"combfilter", default 0, current 0
Jun  4 18:19:40 titan kernel: [286135.855755] *pdpt = 000000002c722001 *pde = 0000000000000000
Jun  4 18:19:40 titan kernel: [286135.856442] Modules linked in: fbcon tileblit font bitblit softcursor vga16fb vgastate snd_hda_codec_via snd_usb_audio snd_usb_lib snd_rawmidi bttv snd_seq_device v4l2_common ir_common videobuf_dma_sg videobuf_core btcx_risc tveeprom nouveau ttm drm_kms_helper snd_hda_inJun 15 22:43:13 titan kernel: imklog 4.2.0, log source = /proc/kmsg started.

Последний час /var/log/syslog

Код: Выделить всё

Jun  4 18:09:01 titan CRON[4792]: (root) CMD (  [ -x /usr/lib/php5/maxlifetime ] && [ -d /var/lib/php5 ] && find /var/lib/php5/ -type f -cmin +$(/usr/lib/php5/maxlifetime) -print0 | xargs -n 200 -r -0 rm)
Jun  4 18:09:17 titan kernel: [285513.579042] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:12:07 titan kernel: [285683.554191] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:13:58 titan kernel: [285794.509382] possible SYN flooding on port 6888. Sending cookies.
Jun  4 18:17:01 titan CRON[5771]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jun  4 18:19:37 titan motion: [3] v4l2_next: VIDIOC_DQBUF:
Jun  4 18:19:37 titan motion: [3] Video device fatal error - Closing video device
Jun  4 18:19:37 titan motion: [3] Closing video device /dev/video2
Jun  4 18:19:40 titan motion: [3] Retrying until successful connection with camera
Jun  4 18:19:40 titan motion: [3] cap.driver: "bttv"
Jun  4 18:19:40 titan motion: [3] cap.card: "BT878 video (Kodicom 4400R (mas"
Jun  4 18:19:40 titan motion: [3] cap.bus_info: "PCI:0000:06:0d.0"
Jun  4 18:19:40 titan motion: [3] cap.capabilities=0x05000015
Jun  4 18:19:40 titan motion: [3] - VIDEO_CAPTURE
Jun  4 18:19:40 titan motion: [3] - VIDEO_OVERLAY
Jun  4 18:19:40 titan motion: [3] - VBI_CAPTURE
Jun  4 18:19:40 titan motion: [3] - READWRITE
Jun  4 18:19:40 titan motion: [3] - STREAMING
Jun  4 18:19:40 titan motion: [3] Supported palettes:
Jun  4 18:19:40 titan motion: [3] 0: GREY (8 bpp, gray)
Jun  4 18:19:40 titan motion: [3] 1: HI24 (8 bpp, dithered color)
Jun  4 18:19:40 titan motion: [3] 2: RGBO (15 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 3: RGBQ (15 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 4: RGBP (16 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 5: RGBR (16 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 6: BGR3 (24 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 7: BGR4 (32 bpp RGB, le)
Jun  4 18:19:40 titan motion: [3] 8: RGB4 (32 bpp RGB, be)
Jun  4 18:19:40 titan motion: [3] 9: YUYV (4:2:2, packed, YUYV)
Jun  4 18:19:40 titan motion: [3] 10: YUYV (4:2:2, packed, YUYV)
Jun  4 18:19:40 titan motion: [3] 11: UYVY (4:2:2, packed, UYVY)
Jun  4 18:19:40 titan motion: [3] 12: 422P (4:2:2, planar, Y-Cb-Cr)
Jun  4 18:19:40 titan motion: [3] 13: YU12 (4:2:0, planar, Y-Cb-Cr)
Jun  4 18:19:40 titan motion: [3] Selected palette YU12
Jun  4 18:19:40 titan motion: [3] index_format 8 Test palette YU12 (640x480)
Jun  4 18:19:40 titan motion: [3] Using palette YU12 (640x480) bytesperlines 640 sizeimage 460800 colorspace 00000000
Jun  4 18:19:40 titan motion: [3] found control 0x00980900, "Brightness", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Brightness", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980901, "Contrast", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Contrast", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980902, "Saturation", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Saturation", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00980903, "Hue", range 0,65535
Jun  4 18:19:40 titan motion: [3] #011"Hue", default 32768, current 32768
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x00000000, "42", range 0,0 !DISABLED!
Jun  4 18:19:40 titan motion: [3] #011"42", default 0, current 0
Jun  4 18:19:40 titan motion: [3] found control 0x08000000, "chroma agc", range 0,1
Jun  4 18:19:40 titan motion: [3] #011"chroma agc", default 0, current 1

[Denisiuk]

Собственно, мне очень неприятно это говорить, но я не понимаю, что происходит

Перед отключением как раз фигурирует bttv, который я загружаю для платы видеозахвата вот так:
cat /etc/modprobe.d/videomon.conf
options i2c-algo-bit bit_test=1
options bttv gbuffers=16 card=133,132,133,133 chroma_agc=1

Не пойму что же происходит не так и почему корневой раздел так реагирует на это? Благодарен за любую помощь.

[Ленивая Бестолочь]

круто.

а система свежая? может быть обновиться, вдруг какие-нибудь нездоровые баги присутствуют?

у вас логи заканчиваются в 18:19:40. система встала сразу после этого или позже?

вы когда приехали она висела? если да, то было бы здорово сначала глянуть на дисплей, а потом уже перезагружаться.
если висит и ничего не видно - рядом есть машинка с com-портом? может быть подключить комами, чтобы вывод на консоль сохранить.

sysstat стоит, запущен, че пишет?

[KiWi]

вы когда приехали она висела? если да, то было бы здорово сначала глянуть на дисплей, а потом уже перезагружаться.
если висит и ничего не видно - рядом есть машинка с com-портом? может быть подключить комами, чтобы вывод на консоль сохранить.

Ещё стоит отключить splash, если он есть - вероятность что-нибудь увидеть повысится. И, кстати, рядом есть какая-нибудь, работающая постоянно машина?

[Denisiuk]

круто.

а система свежая? может быть обновиться, вдруг какие-нибудь нездоровые баги присутствуют?

у вас логи заканчиваются в 18:19:40. система встала сразу после этого или позже?

вы когда приехали она висела? если да, то было бы здорово сначала глянуть на дисплей, а потом уже перезагружаться.
если висит и ничего не видно - рядом есть машинка с com-портом? может быть подключить комами, чтобы вывод на консоль сохранить.

sysstat стоит, запущен, че пишет?

минуту назад обновился. версия, разумеется старая т.к. LTS.
я не уверен, что система встала именно тогда, но скорее всего именно так и было. уверен на 98%
поставил дисплей на сервер, в следующий раз гляну обязательно.
com порты есть, но они на мамке(asus).. лезть к ним - ужос и кошмар..
sysstat стоит, но:
/etc/init.d/sysstat status
* sadc cron jobs are disabled
Перенастроил его так:
sudo dpkg-reconfigure sysstat
Теперь:
/etc/init.d/sysstat status
* sadc cron jobs are enabled

Ещё стоит отключить splash, если он есть - вероятность что-нибудь увидеть повысится. И, кстати, рядом есть какая-нибудь, работающая постоянно машина?

как я понял, вы про картинку при загрузке или какую-то другую заставку? таковых не имею.
рядом есть еще одна машина, которая работает постоянно. тоже убунта. есть вариант как-то мониторить первую?

[KiWi]

Ещё стоит отключить splash, если он есть - вероятность что-нибудь увидеть повысится. И, кстати, рядом есть какая-нибудь, работающая постоянно машина?

как я понял, вы про картинку при загрузке или какую-то другую заставку? таковых не имею.

Да, про неё.

рядом есть еще одна машина, которая работает постоянно. тоже убунта. есть вариант как-то мониторить первую?

В ядре есть модуль netconsole: http://www.debian-administration.org/articles/492