ping & traceroute: Операция не позволяется

Cent OS, Scientific Linux

Модератор: Модераторы разделов

spool
Сообщения: 126
ОС: CentOS 6.6

ping & traceroute: Операция не позволяется

Сообщение spool »

Здравствуйте. Ось: цента 6.6
Сейчас заметил, что с сервера под рутом не могу ни пропинговать, ни сделать трассировку

Код: Выделить всё

# traceroute google.com
traceroute to google.com (173.194.113.195), 30 hops max, 60 byte packets
send: Операция не позволяется
# ping google.com
PING google.com (173.194.113.197) 56(84) bytes of data.
ping: sendmsg: Операция не позволяется
64 bytes from 173.194.113.197: icmp_seq=2 ttl=58 time=0.644 ms

Хотя вот в случае с пингом все таки дело пошло, но что это за "send: Операция не позволяется" и "ping: sendmsg: Операция не позволяется"? Раньше подобных проблем не было. Заранее спс за ответы.

PS Правила iptables
Spoiler

Код: Выделить всё

# iptables -L -n -v
Chain INPUT (policy ACCEPT 23M packets, 1535M bytes)
 pkts bytes target     prot opt in     out     source               destination
    0     0 ACCEPT     tcp  --  *      *       91.211.XXX.XXX       0.0.0.0/0           tcp dpt:ZZZZ
  475 33345 ACCEPT     tcp  --  *      *       91.211.YYY.YY        0.0.0.0/0           tcp dpt:ZZZZ
    0     0 DROP       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:ZZZZ
  379  307K DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0           STRING match "HLBrute" ALGO name kmp TO 65535
    0     0 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0           STRING match "HLXBrute" ALGO name kmp TO 65535

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 24M packets, 4266M bytes)
 pkts bytes target     prot opt in     out     source               destination
Спасибо сказали:
Аватара пользователя
guglez
Сообщения: 394
ОС: GNU/Linux

Re: ping & traceroute: Операция не позволяется

Сообщение guglez »

Это виртуалка, или железный сервер?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21409
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: ping & traceroute: Операция не позволяется

Сообщение Bizdelnick »

Когда я вижу такие вещи, на ум приходит слово selinux.
Для проверки - setenforce 0, для починки - скорее всего, какие-то булеаны надо ковырять.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Это железный сервер. Селинукс был выключен. Странно, но через пару часов после появления проблемы все решилось само собой. В чем могла быть причина подобного поведения? Дед стоит в дц, если что.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

Может ваш сервер кто-то порутал?
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty писал(а):
04.01.2015 12:54
Может ваш сервер кто-то порутал?

Если верить last, то доступ был только с моих Ip. Каким образом можно проверить?
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

spool
В общем случае никак. Ну прогоните для начала chkrootkit.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21409
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: ping & traceroute: Операция не позволяется

Сообщение Bizdelnick »

spool писал(а):
04.01.2015 13:37
Каким образом можно проверить?

man aide
Не панацея, конечно, но наиболее универсальная штука.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty прогнал chkrootkit - все чисто. Но при попытке запустить ifpromisc получаю "-bash: ifpromisc: команда не найдена". Не так запускаю, полагаю?
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Bizdelnick создал базу и сразу же проверил. Отличия нашлись, но не знаю, насколько критично. Подскажите, пожалуйста: http://pastebin.com/rpVw3V21
И не совсем понятно, как необходимо читать это

Код: Выделить всё

Directory: /lib64/dbus-1
  Mtime    : 2014-11-13 03:29:45              , 2015-01-04 14:35:26
  Ctime    : 2014-11-13 03:29:45              , 2015-01-04 14:35:26


Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21409
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: ping & traceroute: Операция не позволяется

Сообщение Bizdelnick »

Если Вы после создания базы устанавливали/удаляли какой-то софт, это нормально. Если изменения будут появляться ни с того ни с сего, то это должно насторожить.
spool писал(а):
04.01.2015 15:49
не совсем понятно, как необходимо читать это
Было/стало.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Аватара пользователя
moonglow
Сообщения: 90
ОС: CentOS

Re: ping & traceroute: Операция не позволяется

Сообщение moonglow »

Привет!

это - просто потери пакетов, может быть, какой-то из каналов в ДЦ или у провайдера забился, или что-то переключали, или еще куча проблем.
в следующий раз, посмотрите arp -a после пинга, пинг адреса шлюза из вывода предыдущей команды (если их много, то шлюз из ip r), и mtr 8.8.8.8 и до шлюза
затем можно позвонить в ДЦ, чтобы проверили патчкорд, или провайдеру, чтобы посмотрели пинг Вас с железки, в которую Вы подключены, и пинг Интернета с нее же
если Вы ничего не делали и никому не звонили, вероятно, завтра проблема воспроизведется в то же время
также полезна инфа о прокси и натах, может быть, Выэкспортировали прокси в переменные среды?
если такая есть, то ping и mtr до прокси
и чтобы побыстрее набрать первоначальной статистики, ping -f -s 1492, но помните, что он может фейлить на исправных сетях
и ping -r
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

moonglow до 8.8.8.8 mtr не показал никаких потерь. С проксями ничего не делал.

Bizdelnick словом, те файлы меняются каждый раз после логина на сервер.

Сейчас проблема вернулась. И, что интересно, сейчас пинг идет нормально, а вот при попытке сделать трассировку получаю "send: Операция не позволяется". Плюс ко всему, во время этого игровой сервер тоже иногда не отвечает на запросы по udp.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

moonglow
А почему такое странное сообщение?

Впрочем согласен, наблюдал подобное.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty писал(а):
04.01.2015 21:44
Впрочем согласен, наблюдал подобное.

И как вы решили проблему?
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

spool писал(а):
04.01.2015 21:45
drBatty писал(а):
04.01.2015 21:44
Впрочем согласен, наблюдал подобное.

И как вы решили проблему?

Железно.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty, это вы наблюдали мою проблему или то, что описал товарищ moonglow?

А может у меня возникать эта проблема из-за того, что, скажем, в дата центре где-то накосячили? Или проблема по-любому именно с моим сервером? Быть может сетевуха приказывает долго жить? Хотя пинг и трассировка к серверу проходит без проблем.
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Или, как вариант, может это быть из-за того, что на сервер идет множество пакетов udp no cksum и bad cksum? На одном форуме писали, что эти пакеты умеет отбрасывать sysctl, но в инете инфы я не нашел. Как это можно сделать?
Спасибо сказали:
Аватара пользователя
moonglow
Сообщения: 90
ОС: CentOS

Re: ping & traceroute: Операция не позволяется

Сообщение moonglow »

spool писал(а):
04.01.2015 22:45
Или, как вариант, может это быть из-за того, что на сервер идет множество пакетов udp no cksum и bad cksum? На одном форуме писали, что эти пакеты умеет отбрасывать sysctl, но в инете инфы я не нашел. Как это можно сделать?

если пакет не фрагментирован и передается в одном фрейме, то сетевая карта сама может его проверить, снять и поставить чексумму на входящие и выходящие, и отбросить, не передавая ядру
пруф, называется TCP offload https://en.wikipedia.org/wiki/TCP_offload_engine
http://www.wavether.com/?p=34
насколько мне известно, все новые сетевые карты это поддерживают
в таком случае, ядро ничего не получит, и никаких ошибок в логе Вы не найдете

А может у меня возникать эта проблема из-за того, что, скажем, в дата центре где-то накосячили?

мое предположение:
может быть, какой-то из каналов в ДЦ или у провайдера забился

но чтобы от предположений перейти к диагностике, нужно знать карту сети и иметь хоть какой-нибудь доступ к сетевым девайсам, минимум - проверить layer 2 от Вас до l3 коммутатора уровня аггрегирования

А почему такое странное сообщение?

я не знаю, может быть:
мы пытаемся открыть cap на запись, ядро проверяет доступные ресурсы, их нет, потому что сетевой интерфейс так говорит, потому что l2 среда может быть сильно загружена или какие другие проблемы
https://access.redhat.com/documentation/en-...eue-issues.html

spool, если честно, я ничего не понял из Ваших последних сообщений, потому что не знаю карту Вашей сети
в общем случае, все уже написали:
1. посмотрите пинг до шлюза
2. посмотрите арп таблицу после пинга
3. посмотрите ошибки на интерфейсе watch ifconfig, количество выброшенных (ошибки - это нормально, ненормально - это когда они быстро растут)
4. посмотрите потери (без ключа -f) до всех направлений, куда интересно. минимум - до шлюза. если Ваши серверы в одной L2 сети, то до соседей (тогда посмотрите ip r, или Вы можете найти соседей в арп)
5. посмотрите, может быть сопоставляется по времени
6. если есть графы трафика в ДЦ (а они точно есть, вы можете попробовать их найти), то посмотрите на них, может быть, разберетесь (но они - не повод звонить в поддержку) (если какой-то вилан перегружен, то трафик на пике будет горизонтальной прямой. не знаю, какой информацией Вы располагаете о номерах виланов и номерах интерфейсов)
7. посмотрите /var/log/messages и /var/log/audit/audit.log, и dmesg
8. посмотрите iftop -i и top
9. посмотрите на каком дуплексе договорился сетевой интерфейс http://www.cyberciti.biz/faq/howto-setup-l...-speed-or-mode/
переключение в half duplex может временно решить и выявить ошибки в L2
10. этого можно не делать: посмотрите tcpdump, как много и какого трафика падает в интерфейс?
11. соберите и проанализируйте всю информацию из 1-10, напишите письмо в поддержку ДЦ или провайдера (кто Вам предоставляет Интернет) Если провайдер и ДЦ - это разные компании, то сначала позвоните в ДЦ с просьбой посмотреть на сервер и проверить патчкорд

и, самое главное, если это только из любопытства и не создает проблем, то лучше выпейте пива и расслабьтесь
а через несколько недель можно посмотреть еще раз, и написать какое-нибудь вежливое письмо в поддержку, приложив вывод всей диагностики (ее надо будет еще раз сразу перед письмом провести)

если это - веб сервер, то единственное, что имеет значение - это rtt и потери
если Вы находитесь в одном городе с ДЦ, то посмотрите rtt и потери с домашнего компа до сервера. также посмотрите их с retn looking glass и любых других looking glass в этом городе
если rtt низкий и потерь нет, то проблемы нет
если потери, то сформулируйте причину проблемы
это может быть "медленно открываются статичные страницы, потери до сервера" или что еще
icmp важен для установки TCP, потому что при соединении клиента происходит MTU discovery и много других интересных вещей, которым он необходим
в итоге это проявляется артефактами, например: страница открывается стразу, но не полностью, и висит, и не может до конца загрузиться - так выглядит Path MTU Discovery Black Hole

ps/ если я неправильно Вас понял, и у Вас всего один игровой сервер, которому нужен UDP, то попробуйте UDP ping http://www.networkuptime.com/nmap/page4-6.shtml
возможно, что сам сервер кратковременно отправляет большие пачки пакетов, так что заканчивается tx queue или возникает какая другая проблема, это будет в логах
в таком случае, см. ман на RHEL, ссылку на который я выше привел
плюс нужно понимание того, что там работает, и как оно должно работать, и хорошая формулировка проблемы, и способ ее воспроизводить
это - чисто тестинг, которым Вы можете сами заняться.
провайдер сделает для Вас диагностику, если попросите, но только сети и без описания проблемы будьте готовы к ответу "на нашей стороне все работает"
или обратиться в поддержку игры. если какие-то проблемы существуют, то они не у Вас одного, они у тысяч пользователей
соответственно, в ДЦ и у провайдера знают о них, или в поддержке игры знают о них
если не знают, то проблема или в Вашем железе, или в Вашем конфиге, или в патчкорде к Вашему серверу, или в подключении - но это диагностируется провайдером очень быстро, если есть вменяемое описание проблемы и Вы предоставите ему всю поддержку с Вашей стороны. С ними можно просто обсудить, что можно сделать и будете ли Вы с ними что-то делать, или оставите как есть?

в общем, развлекайтесь) будет интересно, если Вы напишете, чем это все закончилось, так мы всем форумом немного поднимем свои знания в сетях

pps/ немного настораживает отсутствие дефолтных правил --ctstate RELATED,ESTABLISHED -j ACCEPT и -i lo -j ACCEPT, и -p icmp -j ACCEPT
может быть, это было нужно
посмотрите ss, может быть, какой-то процесс плодит петли из открытых соединений
и попробуйте iptables -F
и еще echo $http_proxy, мало ли, может действительно порутали и поставили прокси или игра поставила
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

moonglow по поводу no/bad cksum: на том же форуме писали, что появился новый тип атаки на игровые сервера с помощью амплификации через другие игровые сервера. Во время этой атаки идут в большом кол-ве именно udp пакеты no/bad cksum. У некоторых висла сеть из-за того, что там какая-то таблица забивалась. Вот я и хочу попробовать попросту отклонить эти пакеты. Сетевуха у меня старая, очень старая.

1. Пинг до шлюза шел без потерь, а вот трассировка - нет
2. В арп таблице как раз только адрес шлюза
4. Потерь не было
5. По времени тоже не совпало. Позавчера было в обед, а вчера - вечером
9. Работает на фулл дюплексе
10. tcpdump'ом и определил, что помимо обычного трафика валится с плохой и отсутствующей чексуммой
Это те пункты, которые вчера проверял. Когда сегодня опять возникнет эта ситуация, проверю остальные.

Во время этой проблемы я делал и трассировку, и пинг с домашнего до сервера - все чисто. На дедике не один игровой сервер и периодически каждый из них на запрос не отвечает. Проблема, судя по всему, воспроизводится сама)

Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Что здесь нужно включить/выключить, чтобы такие udp пакеты не доходили?
Spoiler

Код: Выделить всё

# ethtool -k eth0
Features for eth0:
rx-checksumming: on
tx-checksumming: off
        tx-checksum-ipv4: off
        tx-checksum-unneeded: off
        tx-checksum-ip-generic: off
        tx-checksum-ipv6: off
        tx-checksum-fcoe-crc: off [fixed]
        tx-checksum-sctp: off [fixed]
scatter-gather: off
        tx-scatter-gather: off
        tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: off
        tx-tcp-segmentation: off
        tx-tcp-ecn-segmentation: off
        tx-tcp6-segmentation: off
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: off [requested on]
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on [fixed]
tx-vlan-offload: on [fixed]
ntuple-filters: off [fixed]
receive-hashing: off [fixed]
highdma: off [fixed]
rx-vlan-filter: off [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: off [fixed]
tx-udp_tnl-segmentation: off [fixed]
fcoe-mtu: off [fixed]
loopback: off [fixed]
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Так и есть. Из-за этой атаки забиваются таблицы и в messages оч много записей

Код: Выделить всё

nf_conntrack: table full, dropping packet.


Так каким образом я могу отклонять такие пакеты? У меня такое ощущение, что я спрашиваю нечто неизвестное или секретное. На одном форуме подсказать по этому поводу ничего не могут, на этом тоже ничего.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

spool
Во первых данных мало во вторых, откройте новую тему и сочините нормальный сабж.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty, подскажите, пож, какие именно данные нужно предоставить? В новой теме их и выложу.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

Во первых какие 'такие пакеты'? Откуда тут знают, что вы там 'на другом форуме' писали?
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

drBatty
Такие. Понятное дело, что это только малая часть и атака идет постоянно с разных ip.
Spoiler

Код: Выделить всё

134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 321
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 333
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 352
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 352
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 367
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 352
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 337
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 352
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 333
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 50
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 50
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 78
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 78
    134-255-136-60.k-telecom.org.27005 > myserver.27001: [no cksum] UDP, length 92

Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: ping & traceroute: Операция не позволяется

Сообщение drBatty »

spool
Ну сделайте дамп, весьма вероятно, что в пакетах есть общая сигнатура. Тогда пакеты можно будет фильтровать на уровне iptables.

Но это надо в отдельной теме.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали:
spool
Сообщения: 126
ОС: CentOS 6.6

Re: ping & traceroute: Операция не позволяется

Сообщение spool »

Спасибо сказали: