Подсчет траффика... (как организовать биллинг?)

[Mix Shumaher]

здравствуйте уважаемые...
Есть вопрос...
Имеется вот такая локалка(см.рис.):

и нужно считать в ней траффик. проблема(а может это и не проблема?) в том что сервер который должен считать траффик, шлюзом вовсе не является! шлюзом является ADSL-router. Все это я нарисовал на схеме.

Я предполагаю что нужно настраивать перенаправление траффика с ведением логов... и затем все сосчитать... только как? не очень понимаю... во всех мануалах которые я видел сервер имеет два интерфейса один из которых смотрит в инет... а как быть с моей схемой?
в общем жду ваших мнений... или ссылочки где что почитать...
спасибо...

[Nab]

Вообщето схем учета много, и снимать трафик прийдется именно на роутере, а вот перенаправлять не обязательно, нафига плодить двойной трафик?
На сколько я знаю есть распределенные системы учета, где трафик снимается на нескольких шлюзах а обрабатывается одной биллинговой системой. Способов доставки учтенного трафика тоже несколько, NetFlow, SNMP, еще несколько, я правда плохо знаком с ними.

Я снимаю трафик pcap в плоские файлы а потом его обрабатываю Ничто не мешает сделать вместо локальной обработки, отправку на сервер и обрабатывать там. Система пока не распределенная, так как процент исполнения не велик, и разработка на одной машине происходит, но эти две стадии у меня разделены четко, съем трафа, и его обработка. А организовать отправку и прием, можно будет несколькими способами.... Сейчас тружусь над первой версией веб-интерфейса для пользователей....

[olmibest]

Господа почему бы не поставить для сервера шлюз роутер, а для клиентских машин поставить шлюзом сервер. Как я понимаю трафик который будет проходить через сетевую карту для конкретного пользователя будет известен. Возможно я ошибаюсь но так на мой взгляд может работать.

[Nab]

Угу, работать будет ... но нафига спрашивается тогда роутер, если все пускать через сервер?
Тут видно сеть не маленькая, или собирается расти, поэтому сразу разделяются ресурсы, что неплохо...

[Igor B.]

1. Предполагаем, что задача сформулирована верно - т.е. сервер стоит именно там, где надо (исходя из каких-то других, не связанных с учетом трафика, соображений - административных, политических и пр.). Хотя все это на первый взгляд - достаточно коряво.

2. Очевидно, что при такой конфигурации надо либо завернуть весь трафик через сервер (иначе сервер про него ничего не узнает), либо заставить роутер как-то рапортовать на сервер о трафике, проползшем через него. Кстати, для Обезьяна - при передаче всего трафика через сервер роутер нужен для NAT-а (хотя, конечно, его можно сделать и на сервере) и согласования среды передачи (вот это уже на сервере сделать непросто, хотя и можно).

3. Тогда для выдачи советов недостаточно данных. Как минимум - возможности роутера и пропускная способность сети. Т.е.:
а) что за роутер? он про SNMP знает? про syslog знает? Что это - какой-то простенький DLink/ASUS/Trend? Или вполне сознательная циска 8x7? Циску можно уговорить писать все в Syslog на сервер. У нее есть штатные средства учета трафика. Для простых роутеров доступна только очень бедная регистрация по SNMP.
б) достаточно ли пропускной способности сети, чтобы прогнать трафик через сервер?

Исходя из общих соображений (выглядящих очень просто - циска дорога, пропускная способность небольшой сети дешева, трафик Интернета ограничивается каналом провайдера) наиболее простым, очевидным и универсальным решением выглядит заворачивание трафика через сервер. Т.е.:
1. Клиентам через DHCP раздаем адрес сервера как шлюза
2. На роутере задаем правило, гласящее, что во-вне выпускается только трафик от сервера.
3. На сервере ставим NAT (чтобы весь исходящий трафик на роутере считался "евойным") и учет трафика.

[Nab]

Ну Уважаемый, сами себе противоречите....

NAT желательно все же на роутере, я подозреваю сервер не для учета трафа создан, на нем небось и файловый архив и база данных, и много чего еще может быть, в том числе конфиденциальная инфа, и выставлять такой сервак в инет.... фи. Пускай в DMZ будет.
В принципе даже учитывая что трафик инетовский по сравнению с локальным мизер, все же если к примеру с сервака пяток человек будут фильмы смотреть и еще пяток базу гонять, то даже узкий инет траф может зарезаться, а оно надо?

А вообще мало инфы человек дал, пускай напишет поболее...

[Angel_13th]

2Nab, ты не прав. Сервер и так, и так, не выставлен наружу (хотя имеет ли он доступ в инет это еще вопрос. я говорю о случае когда сервер имеет доступ в инет). Наружу выставлен роутер. Предлагаеться весь инетовский трафик завернуть на сервер, а для сервера шлюзом будет роутер.

В принципе даже учитывая что трафик инетовский по сравнению с локальным мизер, все же если к примеру с сервака пяток человек будут фильмы смотреть и еще пяток базу гонять, то даже узкий инет траф может зарезаться, а оно надо?

Не скажи, все зависит от того какой сервак стоит. Для примера. Есть сеть >50 компов, есть сервер, на нем крутяться samba, dhcp, apache2, bind, irc, mail (courier), mysql, CS-server. Конигурация такая 2Xeon,2гига памяти.

[Nab]

Прав, прав.... тут предложение было такое что NAT сделать на сервере, это значит что один из интерфейсов именно сервера, а не роутера будет иметь адрес внешней сети.... и любая DOS атака остановит работу всей сети... Я вот против чего....

Можно сделать так как предлагают, но необходимо отгородить сервак за файрвол... Пускай считает если он такой мощный но не светить голым задом всему миру ....

Хотя я считаю что для надежности все же лучше разделять сервисы локалки и инета... как и сделано сейчас у человека... и привязываться сейчас все же лучше к его варианту....

[Igor B.]

Прав, прав.... тут предложение было такое что NAT сделать на сервере, это значит что один из интерфейсов именно сервера, а не роутера будет иметь адрес внешней сети.... и любая DOS атака остановит работу всей сети... Я вот против чего....

Можно сделать так как предлагают, но необходимо отгородить сервак за файрвол... Пускай считает если он такой мощный но не светить голым задом всему миру ....

Хотя я считаю что для надежности все же лучше разделять сервисы локалки и инета... как и сделано сейчас у человека... и привязываться сейчас все же лучше к его варианту....

Неправ. Я ведь написал в п.1, что схему сети считаю заданной, т.е. не подлежащей модификации. И когда я говорил про NAT на сервере, я совершенно не имел в виду, что этот сервер будет выставлен "голым задом" в Интернет. Я имел в виду то, что:
а) Если позволяет роутер, то можно осуществлять прозрачное шлюзование на сервер (но, естественно, с фильтрацией), дабы избежать двойного НАТ-а (совершенно нестрашного, но несколько некрасивого)
б) NAT на сервере понадобится для того, чтобы роутер мог его отличить от клиентов. Т.е. сервер должен будет не форвардить соединения от клиентов в И-нет на роутер, а играть в НАТ. При простом форвардинге (роутинге) соединение от клиента в И-нет (с точки зрения роутера) будет иметь в качестве исходящего адрес клиента. Получаем:
1. Значит, на роутере должно быть правило, позволяющее пропускать исходящее соединение клиента. Никто не помешает клиенту поставить маршрут непосредственно на роутер и обойти систему учета
2. У роутера может сорвать крышу от несимметричной маршрутизации (когда пакет от клиента к нему приходит через маршрутизатор, а роутер обнаруживает, что обратный пакет он может послать напрямую - не всякая нежная электронная душа это выдерживает )

[zag]

Ну, во-первых, желательно поточнее описать используемые железки - свитч это или хаб (какая точно модель), какой модем адсл.
И исходя из этого уже думать...

Что-то вроде promiscuous mode на сетевухе

[Igor B.]

Ну, во-первых, желательно поточнее описать используемые железки - свитч это или хаб (какая точно модель), какой модем адсл.
И исходя из этого уже думать...

Я с этого и начинал свой первый ответ. Но, как часто бывает, дискуссия начала развиваться уже без участия автора вопроса

[rolano]

Многие конторы используют старую технику для создания на базе этих "древних" машин вполне работоспособных шлюзов. Ставишь какой-нибудь Пень166 с 32 метрами оперативки и винтом на пару гектар под Linux или FreeBSD, подключаешь через него свой модем - и дальше извращайся так, как душа пожелает. Основное преимущество - возможность настройки "под себя" и наличие в Инете всяких описаний по биллингу с помощью разных прибамбасов

[Nab]

Неправ. Я ведь написал в п.1, что схему сети считаю заданной, т.е. не подлежащей модификации. И когда я говорил про NAT на сервере, я совершенно не имел в виду, что этот сервер будет выставлен "голым задом" в Интернет. Я имел в виду то, что:
а) Если позволяет роутер, то можно осуществлять прозрачное шлюзование на сервер (но, естественно, с фильтрацией), дабы избежать двойного НАТ-а (совершенно нестрашного, но несколько некрасивого)
б) NAT на сервере понадобится для того, чтобы роутер мог его отличить от клиентов. Т.е. сервер должен будет не форвардить соединения от клиентов в И-нет на роутер, а играть в НАТ. При простом форвардинге (роутинге) соединение от клиента в И-нет (с точки зрения роутера) будет иметь в качестве исходящего адрес клиента. Получаем:
1. Значит, на роутере должно быть правило, позволяющее пропускать исходящее соединение клиента. Никто не помешает клиенту поставить маршрут непосредственно на роутер и обойти систему учета
2. У роутера может сорвать крышу от несимметричной маршрутизации (когда пакет от клиента к нему приходит через маршрутизатор, а роутер обнаруживает, что обратный пакет он может послать напрямую - не всякая нежная электронная душа это выдерживает )

Ну уж если траф всеравно будет проходить через сервер в Вашем варианте, то NAT ему не обязателен, даже если он будет его пропускать к роутеру сквозняком, это же не значит что он его посчитать не сможет...

Ну, во-первых, желательно поточнее описать используемые железки - свитч это или хаб (какая точно модель), какой модем адсл.
И исходя из этого уже думать...

Что-то вроде promiscuous mode на сетевухе

Вот именно это я и имел ввиду, сервер сможет обсчитывать весь проходящий траф.... и делить его по необходимости на локальный, общий, местный или еще какой....

Многие конторы используют старую технику для создания на базе этих "древних" машин вполне работоспособных шлюзов. Ставишь какой-нибудь Пень166 с 32 метрами оперативки и винтом на пару гектар под Linux или FreeBSD, подключаешь через него свой модем - и дальше извращайся так, как душа пожелает. Основное преимущество - возможность настройки "под себя" и наличие в Инете всяких описаний по биллингу с помощью разных прибамбасов

А если Вы загляните ко мне в подпись, то увидите что я именно такой роутер на базе Linux и продвигаю

Я с этого и начинал свой первый ответ. Но, как часто бывает, дискуссия начала развиваться уже без участия автора вопроса

Надеюсь автору топика интересно

[Igor B.]

Неправ. Я ведь написал в п.1, что схему сети считаю заданной, т.е. не подлежащей модификации. И когда я говорил про NAT на сервере, я совершенно не имел в виду, что этот сервер будет выставлен "голым задом" в Интернет. Я имел в виду то, что:
а) Если позволяет роутер, то можно осуществлять прозрачное шлюзование на сервер (но, естественно, с фильтрацией), дабы избежать двойного НАТ-а (совершенно нестрашного, но несколько некрасивого)
б) NAT на сервере понадобится для того, чтобы роутер мог его отличить от клиентов. Т.е. сервер должен будет не форвардить соединения от клиентов в И-нет на роутер, а играть в НАТ. При простом форвардинге (роутинге) соединение от клиента в И-нет (с точки зрения роутера) будет иметь в качестве исходящего адрес клиента. Получаем:
1. Значит, на роутере должно быть правило, позволяющее пропускать исходящее соединение клиента. Никто не помешает клиенту поставить маршрут непосредственно на роутер и обойти систему учета
2. У роутера может сорвать крышу от несимметричной маршрутизации (когда пакет от клиента к нему приходит через маршрутизатор, а роутер обнаруживает, что обратный пакет он может послать напрямую - не всякая нежная электронная душа это выдерживает )

Ну уж если траф всеравно будет проходить через сервер в Вашем варианте, то NAT ему не обязателен, даже если он будет его пропускать к роутеру сквозняком, это же не значит что он его посчитать не сможет...

Какой смысл в учете трафика, если любой чел может его обойти? А если не делать NAT на сервере (или ставить прокси, делающий NAT) - как защитишься от того перца, который введет руками команду route и начнет качать порно-ролики немеряной длины мимо биллинга?

А насчет promiscouse mode - автор же нарисовал схему сети. Там свитч(и). И клиенты, воткнутые прямо в роутер. Судя по схеме, я подозреваю, что она нарисована _вся_, и роутер - это все-таки что-то дешевое (у них обычно на внутреннем интерфейсе стоит свитч, дорогие производители клиентов этим не балуют).
Отсюда просится вывод - такую схему легко реконфигурировать, поставив сервер между роутерам и клиентами. И будет феличита - с кэширующми прокси, с контролем доступа, с антивирусом на все, с двойной защитой сети, и т.д. и т.п.

[Nab]

Какой смысл в учете трафика, если любой чел может его обойти? А если не делать NAT на сервере (или ставить прокси, делающий NAT) - как защитишься от того перца, который введет руками команду route и начнет качать порно-ролики немеряной длины мимо биллинга?

А насчет promiscouse mode - автор же нарисовал схему сети. Там свитч(и). И клиенты, воткнутые прямо в роутер. Судя по схеме, я подозреваю, что она нарисована _вся_, и роутер - это все-таки что-то дешевое (у них обычно на внутреннем интерфейсе стоит свитч, дорогие производители клиентов этим не балуют).
Отсюда просится вывод - такую схему легко реконфигурировать, поставив сервер между роутерам и клиентами. И будет феличита - с кэширующми прокси, с контролем доступа, с антивирусом на все, с двойной защитой сети, и т.д. и т.п.

Мы видно немного не понимае друг друга Или подразумеваем разные вещи...
Если поставить сервер шлюзом между сетью и роутером, то никто не сможет его обойти, но NAT подымать на серваке не обязательно Можно простым роутером, то бишь мостом.

А по поводу дешевого... то тут я опять о своем скажу...
Мне мой рабочий роутер с FREESCO обошелся в 30$.
И умеет он многое... другое дело что ADSL модем все равно нужен, и функции простого роутинга они выполнять научились, вот в этом случае, да, лучше ставить сервак и пускать траф тем или иным способом через него...
Если юзать решения программного роутера, что я предлагаю (вот к чему все свелось ), поставить его на выходе в инет, и снимать траф там.... Тем более что в такой конфигурации расти можно и авторизацию делать и централизированный учет на любой технологии (Radius, LDAP, etc), и прокси, и почту и антивирус. Вот я и предлагаю выделить под это дело старенький комп, который с сетью будет справляться...

Хотя все это можно и на сервере замутить....

Так что путей решения этой задачи море, полемику разворачивать с таким количеством входных данных считаю неблагодарным делом.... Пускай автор топика, если еще не определился, то выложит подробности своей сетки...

[Igor B.]

Мы видно немного не понимае друг друга Или подразумеваем разные вещи...
Если поставить сервер шлюзом между сетью и роутером, то никто не сможет его обойти, но NAT подымать на серваке не обязательно Можно простым роутером, то бишь мостом.

Т.е. ты изначально предполагал, что сервер будет вставлен между сеткой и роутером. В этом случае ты совершенно прав, но решал-то при этом не изначальную задачу, а категорически упрощенную ("сферический конь в вакууме")! А я говорил про изначально заданную топологию сети.

[Mix Shumaher]

......Появляется автор топика..........
Я польщен! никогда еще мой вопром не вызывал таких споров! :o Огромное человеческое Спасибо!
еще я ОЧЕНЬ извиняюсь за долгое отсутствие!... но я внимательно все прочитал и понял что я теперь просто обязан описать сеть поподробнее!
Итак...
сервер: P4 3200GHz 2M, 1024Mb RAM и т.д. На нем действительно висит samba и named и еще много чего...
ADSL: TrendNet TW100-BRM504
там есть firewall - т.е. отрубить тем кто захочет качать п() в обход биллинга можно, подняв на сервере nat и забанив всех кроме последнего. отключить NAT на роутере нельзя .
SMNP он не умеет, зато умеет SYSLOG! только вот логи его выглядят бедно:

Код: Выделить всё

Thu, 2005-12-01 20:35:22 - TCP Packet - Source:10.2.1.4,3309 Destination:83.222.7.132,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,2516 Destination:194.67.45.98,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,3376 Destination:217.16.19.237,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,3377 Destination:217.16.19.237,80 - [Any(ALL) match]

не думаю что это можно использовать!

роутер и сервер стоят в разных помещениях по "политическим соображениям".
сеть ооочень маааленькая всего 5 клиентов!!!
вот....

PS: впредь постараюсь следить за топиком

[Nab]

......Появляется автор топика..........
Я польщен! никогда еще мой вопром не вызывал таких споров! :o Огромное человеческое Спасибо!

SMNP он не умеет, зато умеет SYSLOG! только вот логи его выглядят бедно:

Код: Выделить всё

Thu, 2005-12-01 20:35:22 - TCP Packet - Source:10.2.1.4,3309 Destination:83.222.7.132,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,2516 Destination:194.67.45.98,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,3376 Destination:217.16.19.237,80 - [Any(ALL) match]
Thu, 2005-12-01 20:35:25 - TCP Packet - Source:10.2.1.4,3377 Destination:217.16.19.237,80 - [Any(ALL) match]

не думаю что это можно использовать!

Можно, и нужно. Основная инфа там есть... Главное теперь узнать точно размер пакета, о которых он докладует, ну и способ доставки на сервак и обработки этих пакетов.....
Потом вот это

Код: Выделить всё

 [Any(ALL) match]

, в конце записей. Я так понимаю что тут дополнительные условия какие-то можно задать.... так что настроить скорее всего получиться....

PS: впредь постараюсь следить за топиком

Сделайте милость , а то я к примеру уже и забыл о нем ....., Перечитывал по новой

[Mix Shumaher]

Так... Рад что про меня не забыли....

тогда риторический вопрос:
как узнать размер пакета? и кстати... я всегда считал что размер пакета варьируется...

извмните! в теории я не силен...

[Igor B.]

Пошарься в настройках роутера. Если я не ошибаюсь, у него есть там какие-то средства управления подробностями сислога. Кроме того, он и SNMP должен уметь (но с SNMP геморроя больше).

[Mix Shumaher]

Нету там подродностей сислога!!! совсем!

[Igor B.]

Нету там подродностей сислога!!! совсем!

Ну, тогда, наверное, ничего с сислогом у тебя не выйдет. Действительно, размеры пакетов плавающие, и если выжать их из роутера не получается, то твой вариант один - пустить весь трафик через сервер. Чтобы не нарушать географическую политику расположения сервера и роутера - либо перекидывай провода, чтобы сервер топологически оказался между сетью и роутером, либо пользуйся моим советом по перенаправлению трафика.

[Mix Shumaher]

Лучше второе... не хочу сдаваться!
Итак.
IP сервера - 10.2.1.1
IP роутера(локальный) - 10.2.1.254
мои действия:
на клиенте

Код: Выделить всё

 # route add default gw 10.2.1.1 eth0
# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.2.1.0        *               255.255.255.0   U     0      0        0 eth0
127.0.0.0       *               255.0.0.0       U     0      0        0 lo
default         10.2.1.1        0.0.0.0         UG    0      0        0 eth0

на сервере:

Код: Выделить всё

# iptables -P INPUT ACCEPT
# iptables -P OUTPUT ACCEPT
# iptables -P FORWARD ACCEPT
# #Это временные меры, потом будет DROP я работаю через ssh, не хочется потерять соединение
# echo "1" > /proc/sys/net/ipv4/ip_forward
# iptables -A FORWARD -i eth1 -j LOG
# iptables -L -t filter
Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
LOG        all  --  anywhere             anywhere            LOG level warning

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

правильно? после этого я вроде бы должен получить в /var/log/messages хоть какие-то записи!
но там пусто! в смысле не совсем, но по теме - ничего! думаю что-то я напортачил с правилом.
подскажите плиз?

[Igor B.]

Таким образом (простая маршрутизация с фильтрацией) ты ничего не добьешся. Клиент поставит у себя роутер маршрутом по умолчанию - и обойдет твой учет трафика. Я ведь именно об этом писал. Более того, при некоторых условиях система может это сделать за него автоматически (не говорю "должна", говорю "может").

Тебе надо делать NAT на сервере. Чтобы он соединение в Интернет принимал сам, а потом устанавливал от своего имени (своего IP-адреса). А на роутере надо поставить ограничение - выпускать соединения только от определенного адреса (серверного). Т.е. надо на одной физической сети организовать две логические - одна для сервера и клиентов, вторая для сервера и роутера.

А примеров готовых конфигов - море (и здесь, и на opennet). Только там все примеры исходят из того, что у сервера два физических интерфейса. У тебя будет один, но с алиасами (двумя айпи-адресами на одном интерфейсе).