Падение сетевого интерфейса (при использовании Samba)
Модератор: /dev/random
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Падение сетевого интерфейса
ПК используется в качестве сервера Samba (E4600 + 4G ОЗУ + RAID1 SATA 160G). Клиентов не много, всего 3-7, все XP HE. На каждом запущена программа на FoxPro. На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно. Сетевой интерфейс eth0 - только один. При каких-то случаях сетевой интерфейс падает, и ни на что не отвечает, тот же ping. Приходится перезагружать по Ctrl+Alt+Del, монитора нет, после перезагрузки в логах ни самбы ни системы ничего подозрительного найдено небыло... В настройках самбы как мне кажется нет косяков, даже если и есть, то как может повалить сетево интерфейс приложение? Ядро предпоследнее. Вопрос. Какие параметры могут быть настроены не верно (имеется в виду ядерные)?
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
Только сеть отваливается, сам сервер живой? На сервере ping $ServerIP работает? Возможно в сети кто-то спуфит. Нужно смотреть таблицу маков на клиентах, можно прописать в ручную, тогда там таблица не будет обновляться.
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
calculator писал(а): ↑12.01.2009 10:34Только сеть отваливается, сам сервер живой? На сервере ping $ServerIP работает? Возможно в сети кто-то спуфит. Нужно смотреть таблицу маков на клиентах, можно прописать в ручную, тогда там таблица не будет обновляться.
Да в том то и дело, что сервер сам живой, если на сервере делаешь ping "другой сервер" не работает, делаешь ping с другого компа тоже не работает... Если сделать /etc/init.d/net.eth0 restart все снова начинает работать. Вообще не понятно. Если бы это был спуфинг не проявлялся бы он так... Какие могут быть еще предположения? И как узнать в каких случаях это происходит? Стабильно было когда создавали отчет на клиентских машинах и одновременно было открыто куча файлов. Потом в Samba оставил сетевые параметры по умолчанию стало вроде лучше, правда в каких-то случаях падает всеравно, но каким образом Samba может убить сетевой интерфейс?
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
rm_ писал(а): ↑12.01.2009 10:57ОМГСПУФИНГ!!!!1111одинодин.
Kasper_WPS
Вывод dmesg в момент отвала сюда, ку.
Будет сложно, но сделаю ))
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
Не получается повторить. Единственное могу еще написать вывод lspci
В конце dmesg:
Интегрировання сетевая не используется, вставлена ASUS NX1101, т.к. сетка гигабитная.
Код:
00:0f.0 Ethernet controller: nVidia Corporation MCP73 Ethernet (rev a2)
00:10.0 VGA compatible controller: nVidia Corporation GeForce 7050/nForce 610i (rev a2)
01:08.0 Ethernet controller: Sundance Technology Inc / IC Plus Corp IP1000 Family Gigabit Ethernet (rev 41)
В конце dmesg:
Код:
eth0: Link speed = 1000Mbps.
eth0: setting full duplex, TX flow control, RX flow control.
Интегрировання сетевая не используется, вставлена ASUS NX1101, т.к. сетка гигабитная.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Re: Падение сетевого интерфейса
Kasper_WPS писал(а): ↑11.01.2009 23:02На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно.
А что с распределением памяти при открытии через самбу большого количества файлов? Сам столкнулся с тем, что отваливаются некоторые сервисы при нехватке памяти.
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
Maximus_V писал(а): ↑13.01.2009 19:45Kasper_WPS писал(а): ↑11.01.2009 23:02На Samba только *.dbf, каждый клиент открывает от 50 до 250 файлов одновременно.
А что с распределением памяти при открытии через самбу большого количества файлов? Сам столкнулся с тем, что отваливаются некоторые сервисы при нехватке памяти.
Исключено... Если бы самба сама падала, это куда не шло, но тут сетевой интерфейс валится замертво, после /etc/init.d/net.eth0 restart - все нормально. Может сетевая карта? Больше ASUS не беру, да и взял только из-за того, что других небыло.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
Kasper_WPS
Пинг не другого сервера, а себя. Локально через smbclient возможно зайти в момент затыка? И если не ошибаюсь при restart'е eth, samba тоже должна перезапускаться. В tcpdump тоже не мешало бы посмотреть что происходит. Так же можно вставить не дорогую карточку, понаблюдать что будет.
Пинг не другого сервера, а себя. Локально через smbclient возможно зайти в момент затыка? И если не ошибаюсь при restart'е eth, samba тоже должна перезапускаться. В tcpdump тоже не мешало бы посмотреть что происходит. Так же можно вставить не дорогую карточку, понаблюдать что будет.
Re: Падение сетевого интерфейса
Kasper_WPS писал(а): ↑13.01.2009 22:14Исключено... Если бы самба сама падала, это куда не шло, но тут сетевой интерфейс валится замертво, после /etc/init.d/net.eth0 restart - все нормально. Может сетевая карта?
Не совсем четко выразился, поясню сейчас свою мысль:
Клиент открывает множество файлов, работает с ними. А потом в какой-то момент времени дает системе команду - завершить работу, все несохраненные документы - сохранить. И летят эти 50-250 файлов одновременно на ваш сервер.
Попадая на сервер, они записываются на жесткий диск. Сеть у вас быстрая, гигабитная, и файлы попадают на сервер, но не успевают сбрасываться на носитель. Переполняется стек TCP/IP, потом используется память из buffers/cache, потом swap, но и он на жестком диске, а данные все идут и идут. Все же попробуйте пронаблюдать за свободной памятью при одноврменном закрытии множества измененных документов. Или как вариант - поработать со 100-мегабитной встроенной карточкой, в порядке эксперимента.
Re: Падение сетевого интерфейса
Может сетевая карта? Больше ASUS не беру, да и взял только из-за того, что других небыло.
Может быть. Только ASUS тут абсолютно ни при чём.
Чип там стоит IC Plus IP1000. Сам я карточки на этом чипе не пользовал, поэтому могу выражаться лишь исключительно мягко:
- Видится вполне реалистичным предположение, что специалисты IC Plus пока не обладают многолетним опытом в разработке гигабитных сетевых чипов, либо в разработке Linux-драйверов под них.
Постарайтесь всё же добыть dmesg, вполне возможно мы присутствуем при открытии нового бага в драйвере, чипе или проблемы их совместимости, к примеру, с чипсетом на Вашей материнке.
Либо потестируйте с другой сетевухой. Но учитывая, что трабл у Вас возникал крайне редко (и не воспроизводился потом), быстро удостовериться в том, что "ага, вот с этой сетевухой работает, значит дело в этом и было" - нереально.
И летят эти 50-250 файлов одновременно на ваш сервер.
Попадая на сервер, они записываются на жесткий диск. Сеть у вас быстрая, гигабитная, и файлы попадают на сервер, но не успевают сбрасываться на носитель. Переполняется стек TCP/IP, потом используется память
Этот бред даже ещё забавнее, чем тот что выше был про спуфинг.
-
- Сообщения: 145
- ОС: Gentoo
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
calculator писал(а): ↑14.01.2009 12:10Maximus_V
Если бы что-то подобное происходило, в логе бы тишины не было.
rm_
Может тогда обоснуете в чем заключался бред про спуфинг?
Пока вроде тихо и спокойно. В конце месяца при формировании отчета наверно будет проявляться, а пока критична остановка сервера даже на 5 минут. Отпишусь потом. Всем спасибо!
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Re: Падение сетевого интерфейса
Всем добрый день.
У меня похожая проблема и тоже используется сетевая карта ASUS NX1101, только ОС SUSE 11.1. При решении этой проблемы заметил следующее:
1. ping не идет, но при просмотре пакетов на эту сетевую через wireshark видно, что пакеты приходят
2. У меня явным образом интерфейс не падает: при выполнении команды ifconfig, выдается информация о наличии соответствующего интерфейса, но данные о интерфейсе не изменяются (при том, что пакеты виды п. 1)
3. При закачке на эту машину через эту сетевую видео файла увеличивается значение errors+overruns (переполнение буфера) отображаемых в команде ifconfig
4. выполнение команды ethtool выдает следующее:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: MII
PHYAD: 24
Transceiver: internal
Auto-negotiation: on
где нет ни слова о 1000BaseT/Full...
прошу автора проверить эти данные у себя.
А пока прошу совета, как это увязать всё вместе и куда обратить свое внимание
Заранее благодарю.
У меня похожая проблема и тоже используется сетевая карта ASUS NX1101, только ОС SUSE 11.1. При решении этой проблемы заметил следующее:
1. ping не идет, но при просмотре пакетов на эту сетевую через wireshark видно, что пакеты приходят
2. У меня явным образом интерфейс не падает: при выполнении команды ifconfig, выдается информация о наличии соответствующего интерфейса, но данные о интерфейсе не изменяются (при том, что пакеты виды п. 1)
3. При закачке на эту машину через эту сетевую видео файла увеличивается значение errors+overruns (переполнение буфера) отображаемых в команде ifconfig
4. выполнение команды ethtool выдает следующее:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: MII
PHYAD: 24
Transceiver: internal
Auto-negotiation: on
где нет ни слова о 1000BaseT/Full...
прошу автора проверить эти данные у себя.
А пока прошу совета, как это увязать всё вместе и куда обратить свое внимание
Заранее благодарю.
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
Вывели закономерность отказа сетевой? Как можно повторить? К 9 часам отпишусь.
Извините задержался.
Извините задержался.
Код: Выделить всё
# ethtool eth0
Settings for eth0:
Supported ports: [ TP MII ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Supports auto-negotiation: Yes
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
Advertised auto-negotiation: Yes
Speed: 100Mb/s
Duplex: Full
Port: MII
PHYAD: 24
Transceiver: internal
Auto-negotiation: on
Код: Выделить всё
# ifconfig
eth0 Link encap:Ethernet HWaddr 00:1d:60:5c:72:9e
inet addr:192.168.0.111 Bcast:192.168.0.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5064457 errors:0 dropped:0 overruns:0 frame:14
TX packets:5066399 errors:167 dropped:1 overruns:154 carrier:9
collisions:1 txqueuelen:1000
RX bytes:1220055831 (1.1 GiB) TX bytes:693174932 (661.0 MiB)
Interrupt:16
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
Попробуйте txqueuelen увеличить. Например так:
Еще ссылка в помощь: http://www.opennet.ru/docs/RUS/GigabitEthernet/
Код: Выделить всё
ifconfig eth0 txqueuelen 5000
Еще ссылка в помощь: http://www.opennet.ru/docs/RUS/GigabitEthernet/
Re: Падение сетевого интерфейса
calculator писал(а): ↑22.01.2009 12:25Попробуйте txqueuelen увеличить. Например так:
Код: Выделить всё
ifconfig eth0 txqueuelen 5000
Еще ссылка в помощь: http://www.opennet.ru/docs/RUS/GigabitEthernet/
Я как раз когда писал предыдущее сообщение, читал эту статью. Сделал как там было написано про увеличение буфера tcp_rmem и т.д. не помогло. Сейчас просто заменил на DFE-520TX (100Mb). Провоцирую сбой, но всё работает. Поставлю NX1101 обратно попробую сделать то, что порекомендовали, результаты сообщу.
PS:Спасибо за подсказку
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
izzy
Когда tcp_rmem дойдет до 2-ого значения AFAIK начнет варнингами ругаться наподобе
Такие сообщения появляются на счет: tcp_mem. Описано в /usr/src/linux/net/ipv4/tcp_input.c
Кстати про txqueuelen в статье тоже должно быть.
Когда tcp_rmem дойдет до 2-ого значения AFAIK начнет варнингами ругаться наподобе
Код: Выделить всё
kernel: [1885123.150278] Out of socket memory.
Такие сообщения появляются на счет: tcp_mem. Описано в /usr/src/linux/net/ipv4/tcp_input.c
Кстати про txqueuelen в статье тоже должно быть.
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
calculator писал(а): ↑22.01.2009 23:47izzy
Когда tcp_rmem дойдет до 2-ого значения AFAIK начнет варнингами ругаться наподобеКод: Выделить всё
kernel: [1885123.150278] Out of socket memory.
Кстати про txqueuelen в статье тоже должно быть.
Да, оно там есть. Утром буду эксперементировать. Профилактические работы по расписанию ))
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
- Kasper_WPS
- Сообщения: 312
- ОС: Gentoo
- Контактная информация:
Re: Падение сетевого интерфейса
overruns так же увеличивается. Другую сетевую нужно в выходные погонять. Дрова кривые наверно. Под 2003-им все ок.
Gentoo Linux - Stage1 - Core2 Q6600 Quad - 2008.0
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
Kernel: Gentoo-sources - 2.6.36 GCC 4.5.1
XOrg-server 1.9.2 (NVIDIA-9600GT), KDE4 4.5.4
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
:-(
Попробуйте через sysctl указать net.ipv4.tcp_timestamps=0
И интересно что отдаст netstat -sovetu | sort -nr
Попробуйте через sysctl указать net.ipv4.tcp_timestamps=0
И интересно что отдаст netstat -sovetu | sort -nr
Re: Падение сетевого интерфейса
calculator писал(а): ↑23.01.2009 12:53:-(
Попробуйте через sysctl указать net.ipv4.tcp_timestamps=0
И интересно что отдаст netstat -sovetu | sort -nr
поставил txqueuelen=5000 и tcp_timestamps=0. Начинаю:
1. заливать по ftp на сервер файлы по 200-700 Mb (сбой начинается на 700Mb -2 Gb)
2. качать через него (это прокси сервер) какой-нить файл желательно тоже большой (100Mb и более)
3. подключаюсь по SSH и VNC
в результате получаю снова сбой.
В /var/log/messages после сбоя следующее сообщение:
Код: Выделить всё
eth2: Link speed = undefined!
что касается netstat, так как по указанной команде выдается много всего, постарался указать только изменяющиеся:
Код: Выделить всё
До
2773661799 packets directly received from prequeue
3744212 segments received
3588618 packets header predicted and directly queued to user
2552294 segments send out
2183407 packets directly queued to recvmsg prequeue.
1174208 packets directly received from backlog
49356 packets header predicted
1725 packets sent
1364 packets received
725 active connections openings
703 delayed acks sent
426 TCP sockets finished time wait in fast timer
118 resets sent
112 passive connection openings
77 packets to unknown port received.
34 segments retransmited
IcmpMsg:
TCPTimeouts: 23
TCPSlowStartRetrans: 0
TCPRenoFailures: 0
TCPPureAcks: 14120
TCPDSACKUndo: 0
TCPAbortOnTimeout: 0
TCPAbortOnData: 6
TCPAbortOnClose: 6
Quick ack mode was activated 1962 times
OutType8: 1
OutType3: 77
OutType0: 4
OutBcastPkts: 295
InType8: 4
InType3: 2
InType0: 1
После
Код: Выделить всё
3426427053 packets directly received from prequeue
4603915 segments received
4438319 packets header predicted and directly queued to user
3080202 segments send out
2695215 packets directly queued to recvmsg prequeue.
1526245 packets directly received from backlog
56386 packets header predicted
1761 packets sent
1406 packets received
785 delayed acks sent
743 active connections openings
441 TCP sockets finished time wait in fast timer
133 resets sent
115 passive connection openings
80 packets to unknown port received.
66 segments retransmited
IcmpMsg:
TCPTimeouts: 27
TCPSlowStartRetrans: 9
TCPRenoFailures: 1
TCPPureAcks: 15083
TCPDSACKUndo: 2
TCPAbortOnTimeout: 1
TCPAbortOnData: 7
TCPAbortOnClose: 6
Quick ack mode was activated 2068 times
OutType8: 2
OutType3: 96
OutType0: 6
OutBcastPkts: 301
InType8: 6
InType3: 18
InType0: 2
PS:по поводу sysctl, после изменения, нужно ли перегружаться или достаточно какую то команду выполнить, если да то какую?
-
- Сообщения: 145
- ОС: Gentoo
Re: Падение сетевого интерфейса
izzy
Вы меня немного запутали. У Вас проблемы с приемом пакетов. Посмотрите внимательно статью. NAPI используется? Если нет, то видимо статистика из /proc/net/softnet_stat пригодиться.
sysctl можно задать в файле /etc/sysctl.conf. На лету через sysctl -e
Вы меня немного запутали. У Вас проблемы с приемом пакетов. Посмотрите внимательно статью. NAPI используется? Если нет, то видимо статистика из /proc/net/softnet_stat пригодиться.
sysctl можно задать в файле /etc/sysctl.conf. На лету через sysctl -e
Re: Падение сетевого интерфейса
Когда надоест играться, надеюсь вы ещё раз внимательно прочитаете сообщение №11 и подумаете над ним.))
-
- Сообщения: 1
Re: Падение сетевого интерфейса
В общем у меня таже тема. Но. В dmesg я вообще ничего подозрительного не встретил. У меня две сетевухи 100 мбит фиг-знает-кто-производитель и эта.. nx1101. Косяки возникают только с последней.
У меня два подозрения:
1. У меня на этом серваке ужасно старое железо. Celeron 350 мгц и все в этом духе. И железо просто консервативно относится к новым девайсам типа этого.
2. Возможно дело в карточке всетаки. Поскольку глючит только она.
Причем я заметил, что падает она только когда скорость отдачи выше 1 мбита. При маленьких скоростях все нормально.
У меня два подозрения:
1. У меня на этом серваке ужасно старое железо. Celeron 350 мгц и все в этом духе. И железо просто консервативно относится к новым девайсам типа этого.
2. Возможно дело в карточке всетаки. Поскольку глючит только она.
Причем я заметил, что падает она только когда скорость отдачи выше 1 мбита. При маленьких скоростях все нормально.