Подвисает сервер

[Bizdelnick]

как вы видите мой случай не единичный и проблема у многих идентичная

Не уверен. Вы поначалу грешили на сетевую карту, а вот теперь на панель. Проблема с железом вряд ли проявлялась бы стабильно в одно и то же время, так что второе более правдоподобно. Хотя помимо панели много что может так себя вести при неправильной настройке. Так что насчёт толкового админа - это я вполне серьёзно. Нанимайте спеца, давайте ему доступ, и, возможно, он сумеет поставить точный диагноз. Мы тут можем только пальцем в небо тыкать.

[skeletor]

Моя проблема не исчезла. Обновление ядра, всякая разная оптимизация, тюнинг - не помогли. Сервер продолжает виснуть раз в 30-35 дней. Все зависоны утром, с 10 до 11. Я даже поставил авторебут через 60 секунд после kernel panic - но тщетно.
Недавно вышел Debian 7, попробую обновится на него, может проблема исчезнет (но мне кажется, что нет).

Ещё один интересный факт, который удалось выяснить через знакомых касательно "хетнера". Один уважаемый человек (естественно, что не сам, а целая команда) занимается ДатаЦентрами по всему миру (от проектирования до тестирования). Так вот, он сказал такое: в хетнере почти всё железо - обычные десктопы, частенько встречается откровенное "Г". Более того, около 40% железа сбойное и приводит к таким вот зависонам. Единственный плюс, почему его выбирают - это цена. Она самая низкая в Европе. Сервис у них тоже Г.
И самое главное - просить замену железа - бессмысленно, по крайней мере по 2-м причинам: они этого не сделают (то есть, они явно не хотят признавать факт сбойного железа), а если всё-таки поменяют, то 99%, что вам попадётся такое же сбойное железо, и зависоны не прекратятся.

Не советуйте человеку ерунды, яля "поставьте RH\SLES" или наймите админа. Уверен, что, если бы вы сами столкнулись с такой проблемой - не решили бы её. Если хотите помочь - лучше помогите толковыми советами.

[Vann]

Bizdelnick - я честно говоря на что только не грешил. Мы уже и полную перепроверку всего железа заказывали у хетцнера, и блок питания нам меняли, и память раза два тестировали, после когда я наткнулся на хабре вот на это http://habrahabr.ru/qa/34245/ естественно что я грешил на драйвера от сетевой карты которую переставил. А вы положа руку на сердце, скажите не грешили бы? Далее грешил на ядро, обновив его с вашей помощью - в общем перепробовал уже все что мог, эффект остался. Даже оставлял с включенным top и ставил для мониторинга munin - эффект нулевой, при падении нет ни скачков ни ужасов. Сдвигал бэкапы, отключил логи, уже разве что с бубном рядом не скакал - мучения продолжаются...

Двум знакомым спецам подробно описывал проблему и показывал логи - оба искренне разводят руками, давать доступ еще и постороннему надеясь что он решит - имхо лишнее в данной ситуации. Не согласны?

skeletor а давай ка сверим часовые пояса, у меня Прага, следовательно виснет в районе 6 утра а ты географически где? может время одинаковое? У тебя тоже виснет в одно и то же время как правило?
Тоже много слышал о глючном железе итп итд но как уже писал выше другой точно такой же сервер сперва глючил из-за блока питания а теперь вот уже полгода как никаких проблем, ни единой - так что даже не знаю что и думать...Мне почему то кажется что время окажется 1в1 одинаковым, интересно бы догадатся почему...

Upd: Ага посмотрел Киев, сорри - разница в 1 час, но получается что хоть у нас и виснет в разное время (разница часа три) но тем не менее виснет стабильно в одно и то же время утром. Бермудский треугольник ептыть...

[skeletor]

У меня Europe/Kiev часовой пояс.
Даже LARA в момент зависона не работает. Давайте сверим железо (плату, проц, сетевую).

- материнка: ASUS P8H77-M PRO
- проц: Intel® Core™ i7-3770 CPU @ 3.40GHz
- сетевая: встроенная, на чипе RTL8111/8168B

Есть подозрения, что идёт перегрев, но чего конкретно - не ясно. Нужно настроить мониторинг температуры (проц, плата, диски, видяха). До следующего подвисона у меня есть 20 дней (где-то так).

[Vann]

У меня Europe/Kiev часовой пояс.
Даже LARA в момент зависона не работает. Давайте сверим железо (плату, проц, сетевую).

- материнка: ASUS P8H77-M PRO
- проц: Intel® Core™ i7-3770 CPU @ 3.40GHz
- сетевая: встроенная, на чипе RTL8111/8168B

Есть подозрения, что идёт перегрев, но чего конкретно - не ясно. Нужно настроить мониторинг температуры (проц, плата, диски, видяха). До следующего подвисона у меня есть 20 дней (где-то так).

мать:
Manufacturer: ASUSTeK COMPUTER INC.
Product Name: P8H77-M PRO
проц:
Version: Intel® Core™ i7-3770 CPU @ 3.40GHz
сетевая:
RTL8111/8168B PCI Express Gigabit Ethernet controller

Все у проблемных железяк 100% идентичное, во всех случаях это одинаковые сервера и одинаковые траблы, ребята на хабре еще пишут что обновление биоса им помогло но у меня 1005 версия биоса поэтому не знаю куда мне уже обновлять...еще можно всякие настройки в биосе потыкать октлючить всякие ACPI итп но хз если это поможет..по крайней мере это единственное куда я еще не лазил так как надо лару просить

Лара не работает - в смысле сервер висит наглухо?
Ну и знаю вопрос нубский но спрошу - Ротация логов не раз в месяц у вас случайно?

[skeletor]

Если подключить LAR'y после того как подвис сервер, что бы глянуть, что происходит - то она просто не выводит видео. Как-будто, сервер выключен. Поделитесь ссылками на хабр, про обновление биоса (и другими), а то не получается найти. Может мне удастся в них найти что-то интересное.
Ротация - разная: и раз в месяц и каждый день и по превышению размера.

[Vann]

у меня ощущение что мною публикуемые ссылки никто не видит. Я их уже дважды тут в ветке публиковал - сейчас разнесу вот так видно? habrahabr точка ru/qa/34245
Я эту ссылку и на первой странице писал и тут постом выше выкладывал...



вот там ссылочку видно?

У вас сервер E4 а у меня e4S (просто памяти больше) и на хабре сборище таких же владельцев, так что проблема у всех одна одинаковая. Сетевую обновлял, не помогло ((

[Vann]

Я сейчас подумал и мне почему то кажется что в этом хаосе зависаний есть на самом деле четкая и понятная систематичность.
Зависает у нас обоих утром, кстати говоря думаю если сравним часовые пояса выставленные на серверах то они окажутся одинаковыми,
далее раньше висло странно, но после того как обновил драйвер сетевой проработал ровно неделю и повис также утром.
После копания и обновления ядра проработал ровно три дня и повис.

Я долго думав отключил полностью ротацию логов, которая раз в три дня проходит, понимаю это не вариант но надо что то пробовать и где то искать, другого ничего в голову уже не приходит, все остальные узлы работают в штатном режиме...

[Ленивая Бестолочь]

Ваша ссылка на месте.

[Vann]

Ваша ссылка на месте.

спасибо Ленивая Бестолоч... )))
Вот это яркий пример конкретности, человек чем смог тем помог )))))))))
Спасибочки!

[Vann]

можно еще сверить прямо время на серверах чтобы узнать че да как, у меня в данный момент вот что показывает
Sun May 12 21:55:42 MSK 2013

Кстати говоря только что пришло в голову, после того как пересобрал драйвера на сетевую карту после инструкции с хабра так сервер стал гораздо стабильнее, до этого день через день падал. А после стал гораздо стабильнее...попробуй тоже драйвера обновить, может тебе поможет

[Sleeping Daemon]

ребят, я прекрасно понимаю что мы находимся на русском форуме где на твой вопрос тебе вместо ответа долго обьясняют какой ты "м№дак" но я бы не хотел чтобы ветка превращалась в дебаты что лучше "редхат, дебиан или фри", тем более как вы видите мой случай не единичный и проблема у многих идентичная поэтому хотелось бы ее решить.

Кстати говоря добавлю, полугодом ранее был арендован точно такой же сервер, с абсолютно такими же параметрами и все прекрасно работает без сучка и задоринки. Поэтому валить все на дебиан как минимум некорректно. А что я админ слабый я это знаю и более того открыто об этом говорю, но сервера настраивали профессионалы за денежку, а сейчас при этих падениях даже просматривая логи спецы разводят руками...

Так что если хотите продемонстрировать свой ум и красноречие так проявите его в решении данной проблемы а не рассуждая на околофилософские темы. Заранее большое спасибо

Тестируйте железо. Нагрейте помещение до ~40-50С и гоняйте тест памяти 2 суток. Может у Вас мост какой то перегревается, может блок питания, может диск, а может память.

[Bluetooth]

Добавлю вам пищи для ума:

Зависоны на хетцнере могут быть связаны вовсе не с компьютерами, а с инфраструктурными проблемами. В последнее время пару раз встречался с зависонами одновременными несколькоких серверов в одном DC. При этом сервера разные по железу и по софту, а зависли в одно время.

Потом, было такое, что перезагружался один сервер раз в сутки, но прошло это само через пару дней, пока думал, что же с этим делать. Причем нужно еще и не забывать, что под ex4 кроется как минимум два разных железа: i7-2600+Asus P8H67-M PRO и i7-3770+P8H77-M

Так что предлагаю людям с проблемами состыковаться, выяснить, одновременно ли упало. Если одновременно - значит инфраструктурная проблема, следует давить на хетцнер с этим(разумеется, указывая id всех подверженых серверов).

Тестируйте железо. Нагрейте помещение до ~40-50С и гоняйте тест памяти 2 суток. Может у Вас мост какой то перегревается, может блок питания, может диск, а может память.

Речь тут идет про арендованные сервера в ДЦ, и такой вариант не подходит. И это уже второй бессмысленный совет от Вас в этом треде. Может, стоит остановиться? :)

[Bizdelnick]

Зависоны на хетцнере могут быть связаны вовсе не с компьютерами, а с инфраструктурными проблемами.

Аккуратные немцы отключают на ночь кондиционер, и к утру всё перегревается? (-:

[Bluetooth]

Зависоны на хетцнере могут быть связаны вовсе не с компьютерами, а с инфраструктурными проблемами.

Аккуратные немцы отключают на ночь кондиционер, и к утру всё перегревается? (-:

Да хрен их знает Но проблемы с некоторыми серверами, подчас появляющиеся из ниоткуда(да еще и с разными серверами в одно время) и уходящие в никуда, дают основания подозревать инфраструктурные причины.

Вообще-то, причина-то очевидна - аккуратная немецкая уборщица аккуратно задевает аккуратную розетку

[Sleeping Daemon]

Добавлю вам пищи для ума:

Зависоны на хетцнере могут быть связаны вовсе не с компьютерами, а с инфраструктурными проблемами. В последнее время пару раз встречался с зависонами одновременными несколькоких серверов в одном DC. При этом сервера разные по железу и по софту, а зависли в одно время.

Потом, было такое, что перезагружался один сервер раз в сутки, но прошло это само через пару дней, пока думал, что же с этим делать. Причем нужно еще и не забывать, что под ex4 кроется как минимум два разных железа: i7-2600+Asus P8H67-M PRO и i7-3770+P8H77-M

Так что предлагаю людям с проблемами состыковаться, выяснить, одновременно ли упало. Если одновременно - значит инфраструктурная проблема, следует давить на хетцнер с этим(разумеется, указывая id всех подверженых серверов).

Тестируйте железо. Нагрейте помещение до ~40-50С и гоняйте тест памяти 2 суток. Может у Вас мост какой то перегревается, может блок питания, может диск, а может память.

Речь тут идет про арендованные сервера в ДЦ, и такой вариант не подходит. И это уже второй бессмысленный совет от Вас в этом треде. Может, стоит остановиться?

Бог троицу любит. Вы иск им предъявите.

[Vann]

Bluetooth спасибо за совет, про DC это грамотный совет, сейчас в личке свяжусь с skeletor, попробую выяснить какой у него. У меня DC19 - сегодня кстати рано утром опять упал, в этот раз ровно в 5 утра, хотя вчера это было в 5.50 (видимо уборщица с другой стороны полы мыть начинала сегодня)

Upd: датацентры разные, у меня 19 у него 16

[Vann]

пообщался только что с одним товарищем который вроде как успешно решил данную проблему. Вот что он пишет:

Привет. Сначала обновил драйвер сетевухи (также — скриптом), не помогло.
Потом попросил обновить биос. Обновили до 1005.



Кстати, крутил sysctl (но не от падений, а от ругани в логах), возможно это сказалось:

Код: Выделить всё

### Hetzner Online AG installimage
# sysctl config
net.ipv4.ip_forward=1
net.ipv4.conf.all.rp_filter=1
net.ipv4.icmp_echo_ignore_broadcasts=1
net.ipv4.tcp_max_tw_buckets=3800000

####################################

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1

net.core.somaxconn=8192
net.ipv4.tcp_timestamps=0
net.ipv4.tcp_fin_timeout=15
net.ipv4.tcp_keepalive_intvl=15
net.ipv4.tcp_keepalive_probes =3
net.ipv4.tcp_keepalive_time=1800
net.ipv4.tcp_max_syn_backlog=8192
net.ipv4.tcp_orphan_retries=1
net.ipv4.tcp_reordering=3
net.ipv4.tcp_retries1=3
net.ipv4.tcp_retries2=15
net.ipv4.tcp_sack=0
net.ipv4.tcp_synack_retries=4
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_syn_retries=4
net.ipv4.tcp_dsack=0
net.ipv4.tcp_syn_retries=2
net.ipv4.tcp_synack_retries=2
net.ipv4.tcp_max_orphans=128000
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_tw_reuse=1

#####################################

net.ipv4.conf.all.rp_filter=1
net.ipv4.icmp_echo_ignore_broadcasts=1

net.netfilter.nf_conntrack_max = 1048576
net.nf_conntrack_max = 1048576

#####################################

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
net.core.somaxconn=262144
net.ipv4.tcp_max_syn_backlog=16384

net.ipv4.tcp_sack=0
net.ipv4.tcp_timestamps=1
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse=1

#####################################

net.core.netdev_max_backlog=10000
net.core.somaxconn=262144
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_max_tw_buckets = 720000

net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 7
net.ipv4.tcp_keepalive_intvl = 30

net.core.wmem_max = 33554432
net.core.rmem_max = 33554432
net.core.rmem_default = 8388608
net.core.wmem_default = 4194394
net.ipv4.tcp_rmem = 4096 8388608 16777216
net.ipv4.tcp_wmem = 4096 4194394 16777216

#####################################

# ipv6 settings (no autoconfiguration)
net.ipv6.conf.default.autoconf=0
net.ipv6.conf.default.accept_ra=0
net.ipv6.conf.default.accept_ra_defrtr=0
net.ipv6.conf.default.accept_ra_rtr_pref=0
net.ipv6.conf.default.accept_ra_pinfo=0
net.ipv6.conf.default.accept_source_route=0
net.ipv6.conf.default.accept_redirects=0
net.ipv6.conf.default.forwarding=0
net.ipv6.conf.all.autoconf=0
net.ipv6.conf.all.accept_ra=0
net.ipv6.conf.all.accept_ra_defrtr=0
net.ipv6.conf.all.accept_ra_rtr_pref=0
net.ipv6.conf.all.accept_ra_pinfo=0
net.ipv6.conf.all.accept_source_route=0
net.ipv6.conf.all.accept_redirects=0
net.ipv6.conf.all.forwarding=0

В общем я тоже подкрутил, ребутнул - наблюдаем и ждем...

[Vann]

так как у skeletor sysctl на 90% сходный с тем что я привел выше подозрение переместилось на биос.

Чисто гипотетически подозреваю что какой нить "спец" при сетапе сервера "накрутил" биос так,
что выставлены неправильно температурные рамки и сервер тупо виснет чуть что.

Именно поэтому при обновлении биоса проблема решается, так это или нет сейчас буду проверять.

[Bluetooth]

Чисто гипотетически подозреваю что какой нить "спец" при сетапе сервера "накрутил" биос так,
что выставлены неправильно температурные рамки и сервер тупо виснет чуть что.

Так проверьте по сенсорам. Ну или, если сенсоров поддерживаемых нет, то хотя бы смарте винты посмотрите - если винты 30 градусов, то вряд ли что-то где-то перегревается

Бог троицу любит. Вы иск им предъявите.

Воистину любит. Третий бессмысленный совет

Именно поэтому при обновлении биоса проблема решается, так это или нет сейчас буду проверять.

Обновите, лишним не будет.

Ну а на случай инфраструктурных проблем - тут писали, что на хабре толпы с проблемами, так что там можно поискать собратьев по нещастью из одного DC

[Vann]

чтобы не быть голословным



вот такое мунин показывает в момент падений

[Vann]

час назад написал тикет в хетцнер с просьбой дать KVM и в качестве аргумента приложил скриншот падений сервера за последний месяц для пущей уверенности.

Они сейчас прислали письмо что бесплатно заменят мне сервер и поинтересовались какая стоит система. Вот радости то ))

[Bluetooth]

Они сейчас прислали письмо что бесплатно заменят мне сервер и поинтересовались какая стоит система. Вот радости то ))

Отлично! Это вам не какие-нибудь с какого-нибудь reg.ru

вот такое мунин показывает в момент падений

Т.е. все холодно и сухо

[Vann]

короче я перед "отьездом" решил сделать ход конем и попросил апдейтнуть биос. Полчаса назад его "апдейтнули" и теперь вот так

# dmidecode -s bios-version
1101
# dmidecode -s bios-release-date
02/04/2013

так что скрестив пальцы сидим,ждем и верим в светлое будущее )

[Bluetooth]

Вот и я столкнулся с той же проблемой. Сегодня сервак колом встал два раза(хотя до этого неделю работал нормально), причем в первый раз он был в дауне 2 часа, во второй раз - полчаса, а потом поднялся сам. Я подозреваю, что дело в электропитании, задал им тикет. Ну а если нет - пусть биос для начала шьют :)

[Vann]

Вот и я столкнулся с той же проблемой. Сегодня сервак колом встал два раза(хотя до этого неделю работал нормально), причем в первый раз он был в дауне 2 часа, во второй раз - полчаса, а потом поднялся сам. Я подозреваю, что дело в электропитании, задал им тикет. Ну а если нет - пусть биос для начала шьют

отписываюсь, раньше биос вис каждый день, после прошивки биоса уже 4 суток пашет без сбоев. Пока стопроцентно конечно же рано говорить, но на 99% проблема именно в нем.
Причем неважно какие настройки там не камарадят с дебианом, важно что решается очень просто - заказывайте хетцнеру сделать апдейт биоса это бесплатно и очень быстро.
После апдейта биоса уже 3 машинки работают стабильно и долго, у самой стабильной аптайм уже 75 дней.
Я тут уже больше мониторить не буду, сбегаю, всем кто активно помогал спасибо и низкий поклон,
всем кто троллил и рассуждал о смысле жизни, желаю чтобы вся ваша жизнь таким цирком была ))

Шейте биос, помогает! По крайней мере я испробовал напросто все, помогло только это
Если здесь больше не появлюсь значит 100% трабла там, если же будут сбои я обязательно еще отпишусь в этой ветке.
Со всех кому помог пятизвездочный коньяк )))))))) А хетцнер мне будет вообще должен как земля колхозу )))))))))))
Эх, жаль что благодарности не булькают, ох жаль ))

[Bluetooth]

Тоже пытаюсь склонить их на прошивку биоса, но пока они говорят, что на это нет причин, и хотят взвалить на меня риски, неудачного апдейта - мол, если что-то пойдет не так, то мы будем менять сервер за 69 евро. Такое, конечно, не катит :)

[Vann]

Тоже пытаюсь склонить их на прошивку биоса, но пока они говорят, что на это нет причин, и хотят взвалить на меня риски, неудачного апдейта - мол, если что-то пойдет не так, то мы будем менять сервер за 69 евро. Такое, конечно, не катит

немцы идиоты, я это всегда знал, но на самом деле они пока не знают еще масштаба трагедии, сейчас прочухают, запишут себе в FAQ и прошивка на данных серверах станет обязательной процедурой перед отдачей клиенту ))
Я вам в личку ответил - удачи! Если будут отказываться то соберите 2-3 тикета и бомбите их ими )

Upd: кстати там много русскоязычного саппорта работает, так что не стесняйтесь кидайте ссылки на русском прямо на форум, пусть читают

UPD1: Кстати сейчас обсуждали в личке и самое смешное то что у меня и у людей работают точно такие же сервера с более старым биосом довольно долго и без проблем.
Например у меня
# dmidecode -s bios-version
0915
# dmidecode -s bios-release-date
07/27/2012
уже почти год крутится и тьфу тьфу ни-ни, у человека другая версия биоса 0922, но также без проблем. А вот с последними беда, причем неважно какая версия и спасает именно перепрошивка

[Bluetooth]

Переписывался три часа с немцами, они согласились обновить биос, обновили на 1101, полет нормальный уже 3 дня.

[Vann]

Переписывался три часа с немцами, они согласились обновить биос, обновили на 1101, полет нормальный уже 3 дня.

отлично, у меня уже 7 суток, вот как раз через 2-5 дней и увижу 100% результат, раньше вис каждый день через день а рекорд это 8 суток было
Должно быть норм, я думаю нет смысла конкретный переключатель в биосе искать который конфликтует с дебианом, этим уже пусть немцы занимаются ))
Главное что проблема вычислена и локализована
P/S/ Большой привет всем кто надо мною так активно издевался, хихикал и смеялся все это время ))))

Разница я думаю очевидна? (кусочек из старых ребутов еще виден, раньше такая пила была всю неделю)