Фильтрация зеркалируемого трафика.

[gOsToFf]

Здравствуйте. У меня собственно простой вопрос.

Есть некий сервер, на нем установлена ось RHEL 6.5 x64 и карточки 10G

Код: Выделить всё

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.5 (Santiago)
# lspci  | grep 10G
04:00.0 Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 54)
04:00.1 Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 54)

Собственно теперь сабж, сам вопрос. На 10г карты зеркалируется трафик с коммутатора в ядре сети. Далее программно обрабатывается этот трафик. Но к сожалению програмная часть слабая, и не может переработать больше 100 гигов трафика. А льется порядка 250-300. При этом полезного для ПО всего 10-30. Вот и вопрос. Как можно фильтровать такого рода трафик. На уровне коммутаторов не получается, нет ТВ..Возможно я слабо знаком с iptables.
Но даже банальный конфиг не отрабатывает.

Код: Выделить всё

# cat /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type echo-request -j REJECT --reject-with icmp-host-prohibited
-A INPUT -p icmp -m icmp --icmp-type echo-reply -j REJECT --reject-with icmp-host-prohibited
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
#-A POSTROUTING  -i eth0 -j DROP
-A INPUT -i eth0 -j DROP
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

Льется все на eth0, и собственно строка с дропом ( REJECT тоже пробовал, хотя он тут по идеи неуместен ) не отрабатывает. tcpdump и iptraf это показывают.
Понятно что проблема в том что у пакетов ни сорс, ни дест не совпадает с данными на сетевой. Но вот и вопрос. Как тоже они туда попадают, и имеют заголовки.

Может кто уже сталкивался с таким вопросом и подскажет в какую сторону копать.

[Hephaestus]

Льется все на eth0, и собственно строка с дропом ( REJECT тоже пробовал, хотя он тут по идеи неуместен ) не отрабатывает.

И не будет. У Вас политики по умолчанию ACCEPT (в том числе OUTPUT), и при этом -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT.
То есть что получается? Исходящий трафик разрешен любой, входящий в ответ на исходящий - тоже. Чистый входящий может и дропается частично Вашим правилом, но часть наверняка проходит по умолчальной политике для INPUT.
Если хотите понять, работает вообще правило или нет, включите логирование для этого правила.

[Bizdelnick]

Попробуйте пихать правила в цепочку PREROUTING таблицы raw.

[gOsToFf]

Извиняюсь что наверно немного неверный конфиг дал, но это уже один из многих вариаций.


Допустим сейчас такой:

Код: Выделить всё

# cat /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -i bond0 -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -i bond0 -p icmp -m icmp --icmp-type echo-request -j REJECT --reject-with icmp-host-prohibited
-A INPUT -i bond0 -p icmp -m icmp --icmp-type echo-reply -j REJECT --reject-with icmp-host-prohibited
-A INPUT -i bond0 -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -i bond0 -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
#-A POSTROUTING  -i eth0 -j DROP
#-A -t mangle PREROUTING -i eth0 -j DROP
-A INPUT -i eth0 -j DROP
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

*mangle
-A INPUT -i eth0 -j DROP
-A PREROUTING -i eth0 -j DROP
COMMIT

*raw
-A PREROUTING -i eth0 -j DROP
#-A INPUT -i eth0 -j DROP
COMMIT

Ну и наверняка у вас будут вопросы про включал ли я promisc или нет на интерфейсе. ответ - включал/выключал. немного даже игрался с параметрами. Эффекта ноль.


Ну и один глупый вопрос дабы развеять внутренний вопрос "а мало ли".

tcpdump и iptraf это программный уровень и работает после всех таблиц фаервола как и все остальное ПО?



По поводу логирования, а не утану в логах? Там проходняк порядка 500т пакетов.

[Hephaestus]

tcpdump и iptraf это программный уровень и работает после всех таблиц фаервола как и все остальное ПО?

Файрвол, то есть фильтр пакетов работает на уровне ядра. Прикладные программы по идее должны работать уже "после".

По поводу логирования, а не утану в логах? Там проходняк порядка 500т пакетов.

Если боитесь утонуть, припасите "спасательный жилет": настройте логирование с помощью ULOG с выводом в отдельный файл, ну и ротацию на всякий случай.

Предвижу Ваш вопрос: Нафига логи файрвола, если есть tcpdump и пр., которые работают "после", а стало быть, там всё видно, что пакеты не фильтруются.
Отвечаю. Логи файрвола нужны для того, чтобы увидеть, срабатывает ли запрещающее правило, то есть попадает под это правило вообще хоть что-то или нет.
Если попадает под правило хоть часть пакетов, значит остальной поток "прорывается" другими путями и его надо фильтровать дополнительно.
Если совсем ничего не попадает, тогда действительно, правило не отрабатывает, то есть поток, подлежащий фильтрации, правилу не соответствует, и тогда надо думать, как его фильтровать, а это уже вопрос слегка другой, строго говоря.

[gOsToFf]

tcpdump и iptraf это программный уровень и работает после всех таблиц фаервола как и все остальное ПО?

Файрвол, то есть фильтр пакетов работает на уровне ядра. Прикладные программы по идее должны работать уже "после".

По поводу логирования, а не утану в логах? Там проходняк порядка 500т пакетов.

Если боитесь утонуть, припасите "спасательный жилет": настройте логирование в помощью ULOG с выводом в отдельный файл, ну и ротацию на всякий случай.

Предвижу Ваш вопрос: Нафига логи файрвола, если есть tcpdump и пр., которые работают "после", а стало быть, там всё видно, что пакеты не фильтруются.
Отвечаю. Логи файрвола нужны для того, чтобы увидеть, срабатывает ли запрещающее правило, то есть попадает под это правило вообще хоть что-то или нет.
Если попадает под правило хоть часть пакетов, значит остальной поток "прорывается" другими путями и его надо фильтровать дополнительно.
Если совсем ничего не попадает, тогда действительно, правило не отрабатывает, то есть поток, подлежащий фильтрации, правилу не соответствует, и тогда надо думать, как его фильтровать, а это уже вопрос слегка другой, строго говоря.

Вопроса такого бы не было. Не все так плохо)))

Но вот лог девственно пуст

Код: Выделить всё

# cat /etc/sysconfig/iptables
# Firewall configuration written by system-config-firewall
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -i bond0 -m state --state ESTABLISHED,RELATED -j ACCEPT
-A INPUT -i bond0 -p icmp -m icmp --icmp-type echo-request -j REJECT --reject-with icmp-host-prohibited
-A INPUT -i bond0 -p icmp -m icmp --icmp-type echo-reply -j REJECT --reject-with icmp-host-prohibited
-A INPUT -i bond0 -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -i bond0 -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
#-A POSTROUTING  -i eth0 -j DROP
#-A -t mangle PREROUTING -i eth0 -j DROP
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*filter -A INPUT DROP: "
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

*mangle
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*mangle -A INPUT DROP: "
-A PREROUTING -i eth0 -j LOG --log-level INFO --log-prefix "*mange -A PREROUTING DROP: "
#-A FORWARD -i eth0 -j DROP
COMMIT

*raw
-A PREROUTING -i eth0 -j LOG --log-level INFO --log-prefix "*raw -A PREROUTING DROP: "
#-A FORWARD -i eth0 -j DROP
#-A INPUT -i eth0 -j DROP
COMMIT

Если делаю логирование на управляющий интерфейс, то лог пишется. Так что такой проблемы нету.

[Hephaestus]

Но вот лог девственно пуст

Так, стоп.
Я правильно понимаю, что вот это правило
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*filter -A INPUT DROP: " не оставляет в логах вообще никаких следов?
Вы утверждаете, что на этот интерфейс прилетает куча всякой всячины, но тогда в логах оно должно остаться, хотя бы частично.

А, кстати, Вы не пробовали для INPUT политику по умолчанию выставить DROP?

[Bizdelnick]

Я правильно понимаю, что вот это правило
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*filter -A INPUT DROP: " не оставляет в логах вообще никаких следов?
Вы утверждаете, что на этот интерфейс прилетает куча всякой всячины, но тогда в логах оно должно остаться, хотя бы частично.

Эта всячина в INPUT попадать не должна, если я правильно понял.
Вообще хотелось бы поподробнее узнать про то, как именно зеркалируется трафик, и как его ловит эта ваша программа. Через pcap в promiscuous mode, что ли?

[gOsToFf]

Но вот лог девственно пуст

Так, стоп.
Я правильно понимаю, что вот это правило
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*filter -A INPUT DROP: " не оставляет в логах вообще никаких следов?
Вы утверждаете, что на этот интерфейс прилетает куча всякой всячины, но тогда в логах оно должно остаться, хотя бы частично.

А, кстати, Вы не пробовали для INPUT политику по умолчанию выставить DROP?

Пробовал, смотрите посты выше.

Не должна попадать потому что в этом интерфейсе нету ни одного пакета который бы шел непосредственно на сервер. Там только зеркало.

Я правильно понимаю, что вот это правило
-A INPUT -i eth0 -j LOG --log-level INFO --log-prefix "*filter -A INPUT DROP: " не оставляет в логах вообще никаких следов?
Вы утверждаете, что на этот интерфейс прилетает куча всякой всячины, но тогда в логах оно должно остаться, хотя бы частично.

Эта всячина в INPUT попадать не должна, если я правильно понял.
Вообще хотелось бы поподробнее узнать про то, как именно зеркалируется трафик, и как его ловит эта ваша программа. Через pcap в promiscuous mode, что ли?

Ну тут все достаточно просто. Коммутатор в ядре Juniper делает зеркало аплинка в порт сервера. Просто тупо клонирует весь трафик который там ходит.


А вижу я его на сервере достаточно просто.

tcpdump ....... с любыми параметрами. Причем он хорошо фильтрует своими параметрами все. Порт переведен в promisc mode не помню без него я делал или нет. Но смысл, если promisc как раз и сделан для того чтобы принимать трафик не принадлежащий данному интерфейсу.

Код: Выделить всё

[root@msk2-uoc-rum-sprb02 ~]# tcpdump  -i eth0
tcpdump: WARNING: eth0: no IPv4 address assigned
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
.....
53 packets captured
10940 packets received by filter
10763 packets dropped by kernel

Как уже писал выше, Так же и iptraf видит весь трафик.

[Hephaestus]

Пробовал, смотрите посты выше.

Ни в одном из приведенных Вами конфигов политики по умолчанию DROP нету.
Везде

:INPUT ACCEPT [0:0]

Не должна попадать потому что в этом интерфейсе нету ни одного пакета который бы шел непосредственно на сервер. Там только зеркало.

В таком случае Ваше первоначальное сообщение о проблеме, вот это

Льется все на eth0, и собственно строка с дропом ( REJECT тоже пробовал, хотя он тут по идеи неуместен ) не отрабатывает.

теряет всякий смысл.
Чего же Вы хотите?

[gOsToFf]

Hephaestus

Посмотрите пост #4 пожалуйста. Тех дропов что там написано не достаточно?
Смысл мне просто общее правило на блокировку делать, если я тогда упрусь в том что я не смогу фильтровать в ACCEPT....

Чего я хочу вроде достаточно просто объяснил в заголовке. Фильтровать приходящий зеркалируемый трафик со свитча на уровне ядра, чтобы до ПО доходило только нужное.

[Hephaestus]

Посмотрите пост #4 пожалуйста. Тех дропов что там написано не достаточно?

Не знаю. Может статься, что и недостаточно.
Я просто спросил, пробовали Вы политику по умолчанию или нет.
Не кучу правил с DROP, а именно умолчальную политику.

Чего я хочу вроде достаточно просто объяснил в заголовке. Фильтровать приходящий зеркалируемый трафик со свитча на уровне ядра, чтобы до ПО доходило только нужное.

Да. Только вот проблему-то Вы озвучили как "правило с DROP не отрабатывает". А теперь оказывается, что оно и не должно отрабатывать, поскольку трафик через него не ходит.

[Bizdelnick]

тут все достаточно просто. Коммутатор в ядре Juniper делает зеркало аплинка в порт сервера. Просто тупо клонирует весь трафик который там ходит.


А вижу я его на сервере достаточно просто.

tcpdump ....... с любыми параметрами. Причем он хорошо фильтрует своими параметрами все. Порт переведен в promisc mode не помню без него я делал или нет. Но смысл, если promisc как раз и сделан для того чтобы принимать трафик не принадлежащий данному интерфейсу.

Если захват делается через pcap (как в tcpdump) или аналогичным образом, то сетевой стек ядра вообще не используется. Соответственно, никакой iptables ничем не поможет. Фильтрация должна выполняться в самой программе, если она этого не умеет — значит не судьба...

Посмотрите пост #4 пожалуйста. Тех дропов что там написано не достаточно?

Не знаю. Может статься, что и недостаточно.
Я просто спросил, пробовали Вы политику по умолчанию или нет.

Последнее правило

Код: Выделить всё

-A INPUT -j DROP

делает в принципе то же самое, что и политика DROP. Не знаю, какой в этом высший смысл, но такая настройка используется довольно часто.

[Hephaestus]

Не знаю, какой в этом высший смысл

Смысл очень простой. Правило - есть правило. Его можно забыть, потерять, воткнуть не туда. Или при добавлении новых правил оно случайно окажется не там, где надо.
В результате оно не будет работать так, как ожидалось, или вообще не будет работать.
А политика по умолчанию работать будет.
В данном конкретном случае, вероятно, разницы нет, но поскольку ТС уже представил нам три варианта конфига, а опробовал наверно ещё и другие, то вполне могла иметь место какая-то ошибка, и тогда умолчальная политика получается более надёжной.

[gOsToFf]

Не знаю, какой в этом высший смысл

Смысл очень простой. Правило - есть правило. Его можно забыть, потерять, воткнуть не туда. Или при добавлении новых правил оно случайно окажется не там, где надо.
В результате оно не будет работать так, как ожидалось, или вообще не будет работать.
А политика по умолчанию работать будет.
В данном конкретном случае, вероятно, разницы нет, но поскольку ТС уже представил нам три варианта конфига, а опробовал наверно ещё и другие, то вполне могла иметь место какая-то ошибка, и тогда умолчальная политика получается более надёжной.

Я не против сделать глобальный дроп. Ведь сделать дроп по умолчанию, это лишь эстетика которую каждый считает как то все таки по своему. Мне так было зачастую привычнее. Разрешить все кроме. Ибо строчек на запрет будет многим меньше чем разрешать.
Плюс меня в принципе интересует фильтрация только лишь 1(может будет 2) интерфейса. Все остальные я бы вообще лил без каких либо правил.
Я не против если политика запрещающая ВСЕ поможет. Но вопрос в том как фильтровать остается в силе....
Как вы правильно заметили конфигов было очень много разных. Менялась строчка, проверялось. Менялась строка проверялось. Много раз переписывался заного конфиг. Все запарюсь перечислять.

[gOsToFf]

Собственно последовав вашему совету:

Код: Выделить всё

*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT DROP [0:0]

-A INPUT -i lo -j ACCEPT
-A INPUT -i bond0 -j ACCEPT
-A FORWARD -i lo -j ACCEPT
-A FORWARD -i bond0 -j ACCEPT
-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -o bond0 -j ACCEPT

COMMIT

*mangle
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT DROP [0:0]
:PREROUTING DROP [0:0]

-A INPUT -i lo -j ACCEPT
-A INPUT -i bond0 -j ACCEPT
-A FORWARD -i lo -j ACCEPT
-A FORWARD -i bond0 -j ACCEPT
-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -o bond0 -j ACCEPT
-A PREROUTING -i lo -j ACCEPT
-A PREROUTING -i bond0 -j ACCEPT

COMMIT

*raw
:PREROUTING  DROP [0:0]
:OUTPUT DROP [0:0]

-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -o bond0 -j ACCEPT
-A PREROUTING -i lo -j ACCEPT
-A PREROUTING -i bond0 -j ACCEPT

COMMIT


*nat
:PREROUTING  DROP [0:0]
:OUTPUT DROP [0:0]

-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -o bond0 -j ACCEPT
-A PREROUTING -i lo -j ACCEPT
-A PREROUTING -i bond0 -j ACCEPT

COMMIT

Обидно с*к*, но результата ноль....


ЗЫ: Извиняюсь, не сдержался.

[gOsToFf]

Ну чтож, версии иссякли?

[Bizdelnick]

Я свою версию выше вроде уже изложил:

Если захват делается через pcap (как в tcpdump) или аналогичным образом, то сетевой стек ядра вообще не используется. Соответственно, никакой iptables ничем не поможет.