Падение сетевого интерфейса (при использовании Samba)

Sabayon, Calculate, Funtoo, Exherbo

Модератор: /dev/random

Ответить
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Падение сетевого интерфейса

Сообщение Kasper_WPS »

ПК используется в качестве сервера Samba (E4600 + 4G ОЗУ + RAID1 SATA 160G). Клиентов не много, всего 3-7, все XP HE. На каждом запущена программа на FoxPro. На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно. Сетевой интерфейс eth0 - только один. При каких-то случаях сетевой интерфейс падает, и ни на что не отвечает, тот же ping. Приходится перезагружать по Ctrl+Alt+Del, монитора нет, после перезагрузки в логах ни самбы ни системы ничего подозрительного найдено небыло... В настройках самбы как мне кажется нет косяков, даже если и есть, то как может повалить сетево интерфейс приложение? Ядро предпоследнее. Вопрос. Какие параметры могут быть настроены не верно (имеется в виду ядерные)?
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

Только сеть отваливается, сам сервер живой? На сервере ping $ServerIP работает? Возможно в сети кто-то спуфит. Нужно смотреть таблицу маков на клиентах, можно прописать в ручную, тогда там таблица не будет обновляться.
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

calculator писал(а):
12.01.2009 10:34
Только сеть отваливается, сам сервер живой? На сервере ping $ServerIP работает? Возможно в сети кто-то спуфит. Нужно смотреть таблицу маков на клиентах, можно прописать в ручную, тогда там таблица не будет обновляться.

Да в том то и дело, что сервер сам живой, если на сервере делаешь ping "другой сервер" не работает, делаешь ping с другого компа тоже не работает... Если сделать /etc/init.d/net.eth0 restart все снова начинает работать. Вообще не понятно. Если бы это был спуфинг не проявлялся бы он так... Какие могут быть еще предположения? И как узнать в каких случаях это происходит? Стабильно было когда создавали отчет на клиентских машинах и одновременно было открыто куча файлов. Потом в Samba оставил сетевые параметры по умолчанию стало вроде лучше, правда в каких-то случаях падает всеравно, но каким образом Samba может убить сетевой интерфейс?
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение rm_ »

ОМГСПУФИНГ!!!!1111одинодин.

Kasper_WPS
Вывод dmesg в момент отвала сюда, ку. :)
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

rm_ писал(а):
12.01.2009 10:57
ОМГСПУФИНГ!!!!1111одинодин.

Kasper_WPS
Вывод dmesg в момент отвала сюда, ку. :)

Будет сложно, но сделаю ))
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

Не получается повторить. Единственное могу еще написать вывод lspci

Код:

00:0f.0 Ethernet controller: nVidia Corporation MCP73 Ethernet (rev a2) 00:10.0 VGA compatible controller: nVidia Corporation GeForce 7050/nForce 610i (rev a2) 01:08.0 Ethernet controller: Sundance Technology Inc / IC Plus Corp IP1000 Family Gigabit Ethernet (rev 41)

В конце dmesg:

Код:

eth0: Link speed = 1000Mbps. eth0: setting full duplex, TX flow control, RX flow control.


Интегрировання сетевая не используется, вставлена ASUS NX1101, т.к. сетка гигабитная.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
Аватара пользователя
Maximus_V
Сообщения: 432
ОС: Gentoo, FreeBSD
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Maximus_V »

Kasper_WPS писал(а):
11.01.2009 23:02
На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно.

А что с распределением памяти при открытии через самбу большого количества файлов? Сам столкнулся с тем, что отваливаются некоторые сервисы при нехватке памяти.
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

Maximus_V писал(а):
13.01.2009 19:45
Kasper_WPS писал(а):
11.01.2009 23:02
На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно.

А что с распределением памяти при открытии через самбу большого количества файлов? Сам столкнулся с тем, что отваливаются некоторые сервисы при нехватке памяти.


Исключено... Если бы самба сама падала, это куда не шло, но тут сетевой интерфейс валится замертво, после /etc/init.d/net.eth0 restart - все нормально. Может сетевая карта? Больше ASUS не беру, да и взял только из-за того, что других небыло.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

Kasper_WPS
Пинг не другого сервера, а себя. Локально через smbclient возможно зайти в момент затыка? И если не ошибаюсь при restart'е eth, samba тоже должна перезапускаться. В tcpdump тоже не мешало бы посмотреть что происходит. Так же можно вставить не дорогую карточку, понаблюдать что будет.
Спасибо сказали:
Аватара пользователя
Maximus_V
Сообщения: 432
ОС: Gentoo, FreeBSD
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Maximus_V »

Kasper_WPS писал(а):
13.01.2009 22:14
Исключено... Если бы самба сама падала, это куда не шло, но тут сетевой интерфейс валится замертво, после /etc/init.d/net.eth0 restart - все нормально. Может сетевая карта?

Не совсем четко выразился, поясню сейчас свою мысль:
Клиент открывает множество файлов, работает с ними. А потом в какой-то момент времени дает системе команду - завершить работу, все несохраненные документы - сохранить. И летят эти 50-250 файлов одновременно на ваш сервер.
Попадая на сервер, они записываются на жесткий диск. Сеть у вас быстрая, гигабитная, и файлы попадают на сервер, но не успевают сбрасываться на носитель. Переполняется стек TCP/IP, потом используется память из buffers/cache, потом swap, но и он на жестком диске, а данные все идут и идут. Все же попробуйте пронаблюдать за свободной памятью при одноврменном закрытии множества измененных документов. Или как вариант - поработать со 100-мегабитной встроенной карточкой, в порядке эксперимента.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение rm_ »

Может сетевая карта? Больше ASUS не беру, да и взял только из-за того, что других небыло.

Может быть. Только ASUS тут абсолютно ни при чём.
Чип там стоит IC Plus IP1000. Сам я карточки на этом чипе не пользовал, поэтому могу выражаться лишь исключительно мягко:
- Видится вполне реалистичным предположение, что специалисты IC Plus пока не обладают многолетним опытом в разработке гигабитных сетевых чипов, либо в разработке Linux-драйверов под них. :)

Постарайтесь всё же добыть dmesg, вполне возможно мы присутствуем при открытии нового бага в драйвере, чипе или проблемы их совместимости, к примеру, с чипсетом на Вашей материнке.

Либо потестируйте с другой сетевухой. Но учитывая, что трабл у Вас возникал крайне редко (и не воспроизводился потом), быстро удостовериться в том, что "ага, вот с этой сетевухой работает, значит дело в этом и было" - нереально.

И летят эти 50-250 файлов одновременно на ваш сервер.
Попадая на сервер, они записываются на жесткий диск. Сеть у вас быстрая, гигабитная, и файлы попадают на сервер, но не успевают сбрасываться на носитель. Переполняется стек TCP/IP, потом используется память

:D
Этот бред даже ещё забавнее, чем тот что выше был про спуфинг.
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

Maximus_V
Если бы что-то подобное происходило, в логе бы тишины не было.

rm_
Может тогда обоснуете в чем заключался бред про спуфинг?
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

calculator писал(а):
14.01.2009 12:10
Maximus_V
Если бы что-то подобное происходило, в логе бы тишины не было.

rm_
Может тогда обоснуете в чем заключался бред про спуфинг?


Пока вроде тихо и спокойно. В конце месяца при формировании отчета наверно будет проявляться, а пока критична остановка сервера даже на 5 минут. Отпишусь потом. Всем спасибо!
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
izzy
Сообщения: 3

Re: Падение сетевого интерфейса

Сообщение izzy »

Всем добрый день.

У меня похожая проблема и тоже используется сетевая карта ASUS NX1101, только ОС SUSE 11.1. При решении этой проблемы заметил следующее:
1. ping не идет, но при просмотре пакетов на эту сетевую через wireshark видно, что пакеты приходят

2. У меня явным образом интерфейс не падает: при выполнении команды ifconfig, выдается информация о наличии соответствующего интерфейса, но данные о интерфейсе не изменяются (при том, что пакеты виды п. 1)

3. При закачке на эту машину через эту сетевую видео файла увеличивается значение errors+overruns (переполнение буфера) отображаемых в команде ifconfig

4. выполнение команды ethtool выдает следующее:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: MII
PHYAD: 24
Transceiver: internal
Auto-negotiation: on
где нет ни слова о 1000BaseT/Full...

прошу автора проверить эти данные у себя.

А пока прошу совета, как это увязать всё вместе и куда обратить свое внимание

Заранее благодарю.
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

Вывели закономерность отказа сетевой? Как можно повторить? К 9 часам отпишусь.

Извините задержался.

Код: Выделить всё

# ethtool eth0
Settings for eth0:
    Supported ports: [ TP MII ]
    Supported link modes:   10baseT/Half 10baseT/Full
                            100baseT/Half 100baseT/Full
    Supports auto-negotiation: Yes
    Advertised link modes:  10baseT/Half 10baseT/Full
                            100baseT/Half 100baseT/Full
    Advertised auto-negotiation: Yes
    Speed: 100Mb/s
    Duplex: Full
    Port: MII
    PHYAD: 24
    Transceiver: internal
    Auto-negotiation: on

Код: Выделить всё

# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:1d:60:5c:72:9e
          inet addr:192.168.0.111  Bcast:192.168.0.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5064457 errors:0 dropped:0 overruns:0 frame:14
          TX packets:5066399 errors:167 dropped:1 overruns:154 carrier:9
          collisions:1 txqueuelen:1000
          RX bytes:1220055831 (1.1 GiB)  TX bytes:693174932 (661.0 MiB)
          Interrupt:16
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

Попробуйте txqueuelen увеличить. Например так:

Код: Выделить всё

ifconfig eth0 txqueuelen 5000

Еще ссылка в помощь: http://www.opennet.ru/docs/RUS/GigabitEthernet/
Спасибо сказали:
izzy
Сообщения: 3

Re: Падение сетевого интерфейса

Сообщение izzy »

calculator писал(а):
22.01.2009 12:25
Попробуйте txqueuelen увеличить. Например так:

Код: Выделить всё

ifconfig eth0 txqueuelen 5000

Еще ссылка в помощь: http://www.opennet.ru/docs/RUS/GigabitEthernet/


Я как раз когда писал предыдущее сообщение, читал эту статью. Сделал как там было написано про увеличение буфера tcp_rmem и т.д. не помогло. Сейчас просто заменил на DFE-520TX (100Mb). Провоцирую сбой, но всё работает. Поставлю NX1101 обратно попробую сделать то, что порекомендовали, результаты сообщу.

PS:Спасибо за подсказку
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

izzy
Когда tcp_rmem дойдет до 2-ого значения AFAIK начнет варнингами ругаться наподобе

Код: Выделить всё

kernel: [1885123.150278] Out of socket memory.

Такие сообщения появляются на счет: tcp_mem. Описано в /usr/src/linux/net/ipv4/tcp_input.c

Кстати про txqueuelen в статье тоже должно быть.
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

calculator писал(а):
22.01.2009 23:47
izzy
Когда tcp_rmem дойдет до 2-ого значения AFAIK начнет варнингами ругаться наподобе

Код: Выделить всё

kernel: [1885123.150278] Out of socket memory.

Кстати про txqueuelen в статье тоже должно быть.

Да, оно там есть. Утром буду эксперементировать. Профилактические работы по расписанию ))
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
Аватара пользователя
Kasper_WPS
Сообщения: 312
ОС: Gentoo
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение Kasper_WPS »

overruns так же увеличивается. Другую сетевую нужно в выходные погонять. Дрова кривые наверно. Под 2003-им все ок.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

:-(
Попробуйте через sysctl указать net.ipv4.tcp_timestamps=0
И интересно что отдаст netstat -sovetu | sort -nr
Спасибо сказали:
izzy
Сообщения: 3

Re: Падение сетевого интерфейса

Сообщение izzy »

calculator писал(а):
23.01.2009 12:53
:-(
Попробуйте через sysctl указать net.ipv4.tcp_timestamps=0
И интересно что отдаст netstat -sovetu | sort -nr


поставил txqueuelen=5000 и tcp_timestamps=0. Начинаю:
1. заливать по ftp на сервер файлы по 200-700 Mb (сбой начинается на 700Mb -2 Gb)
2. качать через него (это прокси сервер) какой-нить файл желательно тоже большой (100Mb и более)
3. подключаюсь по SSH и VNC

в результате получаю снова сбой.

В /var/log/messages после сбоя следующее сообщение:

Код: Выделить всё

   eth2: Link speed = undefined!


что касается netstat, так как по указанной команде выдается много всего, постарался указать только изменяющиеся:

Код: Выделить всё

До
    2773661799 packets directly received from prequeue
    3744212 segments received
    3588618 packets header predicted and directly queued to user
    2552294 segments send out
    2183407 packets directly queued to recvmsg prequeue.
    1174208 packets directly received from backlog
    49356 packets header predicted
    1725 packets sent
    1364 packets received
    725 active connections openings
    703 delayed acks sent
    426 TCP sockets finished time wait in fast timer
    118 resets sent
    112 passive connection openings
    77 packets to unknown port received.
    34 segments retransmited

IcmpMsg:
    TCPTimeouts: 23
    TCPSlowStartRetrans: 0
    TCPRenoFailures: 0
    TCPPureAcks: 14120
    TCPDSACKUndo: 0
    TCPAbortOnTimeout: 0
    TCPAbortOnData: 6
    TCPAbortOnClose: 6
    Quick ack mode was activated 1962 times
    OutType8: 1
    OutType3: 77
    OutType0: 4

    OutBcastPkts: 295
    InType8: 4
    InType3: 2
    InType0: 1


После

Код: Выделить всё

    3426427053 packets directly received from prequeue
    4603915 segments received
    4438319 packets header predicted and directly queued to user
    3080202 segments send out
    2695215 packets directly queued to recvmsg prequeue.
    1526245 packets directly received from backlog
    56386 packets header predicted
    1761 packets sent
    1406 packets received
    785 delayed acks sent
    743 active connections openings
    441 TCP sockets finished time wait in fast timer
    133 resets sent
    115 passive connection openings
    80 packets to unknown port received.
    66 segments retransmited

IcmpMsg:
    TCPTimeouts: 27
    TCPSlowStartRetrans: 9
    TCPRenoFailures: 1
    TCPPureAcks: 15083
    TCPDSACKUndo: 2
    TCPAbortOnTimeout: 1
    TCPAbortOnData: 7
    TCPAbortOnClose: 6
    Quick ack mode was activated 2068 times
    OutType8: 2
    OutType3: 96
    OutType0: 6
    OutBcastPkts: 301
    InType8: 6
    InType3: 18
    InType0: 2


PS:по поводу sysctl, после изменения, нужно ли перегружаться или достаточно какую то команду выполнить, если да то какую?
Спасибо сказали:
calculator
Сообщения: 145
ОС: Gentoo

Re: Падение сетевого интерфейса

Сообщение calculator »

izzy
Вы меня немного запутали. У Вас проблемы с приемом пакетов. Посмотрите внимательно статью. NAPI используется? Если нет, то видимо статистика из /proc/net/softnet_stat пригодиться.
sysctl можно задать в файле /etc/sysctl.conf. На лету через sysctl -e
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Падение сетевого интерфейса

Сообщение rm_ »

Когда надоест играться, надеюсь вы ещё раз внимательно прочитаете сообщение №11 и подумаете над ним.))
Спасибо сказали:
Kao Moneus
Сообщения: 1

Re: Падение сетевого интерфейса

Сообщение Kao Moneus »

В общем у меня таже тема. Но. В dmesg я вообще ничего подозрительного не встретил. У меня две сетевухи 100 мбит фиг-знает-кто-производитель и эта.. nx1101. Косяки возникают только с последней.
У меня два подозрения:

1. У меня на этом серваке ужасно старое железо. Celeron 350 мгц и все в этом духе. И железо просто консервативно относится к новым девайсам типа этого.
2. Возможно дело в карточке всетаки. Поскольку глючит только она.

Причем я заметил, что падает она только когда скорость отдачи выше 1 мбита. При маленьких скоростях все нормально.
Спасибо сказали:
Ответить