Обсуждение способов подсчета траффика.

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модератор: SLEDopit

Аватара пользователя
Yaros
Сообщения: 501
ОС: Debian Wheezy / Gentoo

Обсуждение способов подсчета траффика.

Сообщение Yaros »

Нужна прога, считающая траффик, и удовлетворяющая следующим условиям:
1. Консоль.
2. Легкость.
3. Возможность разрывать соединение при достижении определенного уровня траффика.
4. Возможность подсчета ssh-траффика для каждого юзера отдельно (опционально).
5. Вывод отчета (по требованию или по расписанию) в текстовый файл.
Еcли можно - расскажите поподробнее о программке.
Заранее спасибо.
=========
=Мой блог. =
=========
Gentoo-ниасилятар
Спасибо сказали:
IMB
Сообщения: 2561
ОС: Debian

Re: Обсуждение способов подсчета траффика.

Сообщение IMB »

Части требований отвечает vnstat:

user@localhost

vnStat is a network traffic monitor for Linux. It keeps a log of daily network traffic for the selected interface(s). vnStat is not a packet sniffer. The traffic information is analyzed from the /proc filesystem, so vnStat can be used without root permissions. Homepage: http://humdi.net/vnstat/
Спасибо сказали:
silver47
Сообщения: 19

Re: Обсуждение способов подсчета траффика.

Сообщение silver47 »

Yaros писал(а):
27.04.2009 01:50
Нужна прога, считающая траффик, и удовлетворяющая следующим условиям:
1. Консоль.
2. Легкость.
3. Возможность разрывать соединение при достижении определенного уровня траффика.
4. Возможность подсчета ssh-траффика для каждого юзера отдельно (опционально).
5. Вывод отчета (по требованию или по расписанию) в текстовый файл.
Еcли можно - расскажите поподробнее о программке.
Заранее спасибо.


Прога считает трафик на проксе? какой прокси сервер используете в таком случае?
Спасибо сказали:
sim1
Сообщения: 155
ОС: GNU,BSD
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение sim1 »

netams

http://netams.com/

всем вашим пунктам удовлетворяет
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

В общем то хочется поднять сервер статистики чтобы выполнял следующие функции:

- Считал входящий и исходящий трафик на одном интерфейсе
- разбивал все это дела по дням
- выводил в веб

Что нужно для реализации?
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
Аватара пользователя
MaksVal
Сообщения: 137
ОС: Ubuntu Server 8.10

Re: Обсуждение способов подсчета траффика.

Сообщение MaksVal »

Да хороший вопрос...
Может кто еще посоветует как собирать статистику с iptables?
"Если ты не можешь выжить в одиночку, и тысяча друзей тебя не спасет."
"Кривое дерево легче срубить, чем выправить.
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

и еще маленький вопрос, совсем забыл, можно ли еще сделать, чтобы было видно на каком сайте сколько трафика потреблялось.
Вот собственно и все.
Интересует подсчет только внешнего трафика на интерфейсе с соединением pppoe
NAT присутствует.
Ось OpenSuse 10.3
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
pelmen
Сообщения: 1268
ОС: debian

Re: Обсуждение способов подсчета траффика.

Сообщение pelmen »

Я как-то заморачивался с этим вопросом, дошел до того, что iptables делал ULOG в mysql, а потом на php наваял страничку вывода. После того, как в таблице стало 1,684,281 записей, он начал оооочень долго думать и выдавать мне ошибку "Maximum execution time of 30 seconds exceeded". Проблема в том, что в базе каждая запись - один пакет (который уже может весить 84 байта, например, если это ping, или еще сколько-то) Таким образом, наверное лучше раз в сутки (ночью) делать скриптом анализ этой таблицы и составлять новую, в которой уже записей будет поменьше, т.е. там 1 запись будет не 1 пакет, а, например, 1 внешний адрес, с которого качали, и сумма байт. Короче, если интересно, давайте допилим вместе :)
Еще одна проблема, с которой я столкнулся: iptables работает на ?сетевом? уровне и не знает, на какой сайт (доменное имя) пошел пакет. Т.е. получается таблица ip-адресов, а не сайтов.
Спасибо сказали:
Аватара пользователя
keir
Сообщения: 317
ОС: linux
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение keir »

MaksVal писал(а):
30.04.2009 09:08
Может кто еще посоветует как собирать статистику с iptables?

Код: Выделить всё

iptables -I FORWARD 1 -o vlan1002 -j ULOG --ulog-nlgroup 5 --ulog-cprange 48 --ulog-qthreshold 49
iptables -I FORWARD 1 -i vlan1002 -j ULOG --ulog-nlgroup 6 --ulog-cprange 48 --ulog-qthreshold 49
vlan1002 - интерфейс на интернет.

ну и собирать это все ipcad-ом. пример ipcad.conf:

Код: Выделить всё

capture-ports enable;
buffers = 16m;
interface ulog group 5, group 6, group 7, group 8, group 9, group 10;
rsh enable;
rsh root@127.0.0.1 admin;
rsh root@192.168.192.2 admin;
rsh 127.0.0.1 view-only;
rsh ttl = 3;
rsh timeout = 30;
dumpfile = ipcad.dump;
chroot = /var/ipcad;
pidfile = /run/ipcad.pid;
memory_limit = 512m;

ну а из ipcad-a записывать траффик куда-нибудь...

pelmen писал(а):
30.04.2009 09:22
Я как-то заморачивался с этим вопросом, дошел до того, что iptables делал ULOG в mysql, а потом на php наваял страничку вывода. После того, как в таблице стало 1,684,281 записей, он начал оооочень долго думать и выдавать мне ошибку "Maximum execution time of 30 seconds exceeded". Проблема в том, что в базе каждая запись - один пакет (который уже может весить 84 байта, например, если это ping, или еще сколько-то) Таким образом, наверное лучше раз в сутки (ночью) делать скриптом анализ этой таблицы и составлять новую, в которой уже записей будет поменьше, т.е. там 1 запись будет не 1 пакет, а, например, 1 внешний адрес, с которого качали, и сумма байт. Короче, если интересно, давайте допилим вместе :)
Еще одна проблема, с которой я столкнулся: iptables работает на ?сетевом? уровне и не знает, на какой сайт (доменное имя) пошел пакет. Т.е. получается таблица ip-адресов, а не сайтов.

А может, чтобы не получать такое дикое кол-во записей, лучше все таки суммировать траффик по ip-адресу клиента?
Trust №1
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

Да, надо сделать! Чувствую моего сервака не хватит.
Конфиг:
CPU: P133, ОЗУ: 32Mb, HDD: 1,4Гб.
я думал использовать SNMP сервер и натравить его на ppp интерфейс, но если начальство хочет видеть еще и ресурсы на которые уходит трафик, то без netflow не обойтись.

Прокси никакой нет. она и не нужна, прокся внутри сети, просто нужен сервер со статистикой, который будет стоять перед фаирволом и собирать всю инфу.

Где то на форуме проскакивало, что ipcad не работает с ядром 2,6 или не корректно работает.
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
GeAlex
Сообщения: 148

Re: Обсуждение способов подсчета траффика.

Сообщение GeAlex »

On-Lite писал(а):
30.04.2009 08:31
В общем то хочется поднять сервер статистики чтобы выполнял следующие функции:

- Считал входящий и исходящий трафик на одном интерфейсе
- разбивал все это дела по дням
- выводил в веб

Что нужно для реализации?

Это легко реализуется с помощью vnstat и веб морды к нему "vnstat PHP frontend".
Спасибо сказали:
IMB
Сообщения: 2561
ОС: Debian

Re: Обсуждение способов подсчета траффика.

Сообщение IMB »

On-Lite писал(а):
30.04.2009 08:31
В общем то хочется поднять сервер статистики чтобы выполнял следующие функции:

- Считал входящий и исходящий трафик на одном интерфейсе
- разбивал все это дела по дням
- выводил в веб

Что нужно для реализации?

Плохо искали - http://humdi.net/vnstat/ и http://www.sqweek.com/sqweek/index.php?p=1 .
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

Наверное плохо искал, ибо вообще узнал о существовании vnstat только сейчас!))
Думаю на первое время подойдет и такая статистика, со временем выбью более мощный сервер и уже что то сделаем по серьезнее, всем спасибо за помощь!
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Обсуждение способов подсчета траффика.

Сообщение Ленивая Бестолочь »

iУведомление от модератора
прикреплю тему, т.к. про подсчет трафика спрашивают постоянно.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение rm_ »

А кто подскажет варианты (желательно, более-менее современные и интегрированные) не только считать трафик, но и автоматически отключать потребителей после превышения дневного/месячного порогов? Понимаю, на коленке можно самому слепить из запчастей, но может есть что-то готовое?
Спасибо сказали:
sim1
Сообщения: 155
ОС: GNU,BSD
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение sim1 »

rm_ писал(а):
30.04.2009 12:24
А кто подскажет варианты (желательно, более-менее современные и интегрированные) не только считать трафик, но и автоматически отключать потребителей после превышения дневного/месячного порогов? Понимаю, на коленке можно самому слепить из запчастей, но может есть что-то готовое?

Как вариант netams, http://netams.com/ но у него есть сложности с подсчетом трафика когда используется "прозрачный" прокси.
Другой вариант, который я использую в силу ряда других обстоятельст, подсчет трафика и управление квотами, с помощью связки mpd+ freeradius + mysql. Для того чтобы можно было просматривать общую статистику по трафику и управлять размерами квот написал небольшой скрипт на Php, так как те, которые есть в сети мне показались слишком тяжеловесными, вот к примеру http://abills.net.ua/wiki/doku.php. Для вывода статистику кто, куда, когда и сколько используется Lightsquid, на логах сквида.
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

Может быть есть уже готовые дистрибутивы, которые как раз и заточены под такие нужды и управляются через какой нить Web итерфейс удаленно?
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
Аватара пользователя
butch
Сообщения: 331
ОС: :OC

Re: Обсуждение способов подсчета траффика.

Сообщение butch »

замечу, на всякий случай, что сейчас некомильфо собирать информацию о проходящий пакетах с помощью ulog
используйте ipt_netflow.
работает довольно просто и менее требователен к ресурсам. при этом на выходе получаете нетфлоу, считающийся стандартом
Спасибо сказали:
Аватара пользователя
ivan2ksusr
Сообщения: 882
ОС: Mac OS X, openSUSE
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение ivan2ksusr »

смотри в сторону FreeSA , а так же в сторону SAMS здесь и здесь
Спасибо сказали:
Аватара пользователя
Yaros
Сообщения: 501
ОС: Debian Wheezy / Gentoo

Re: Обсуждение способов подсчета траффика.

Сообщение Yaros »

Netams насторожил упоминанием о SQL, а вот vnstat очень заинтересовал, обязательно начну с него))
Прокси там нет, считать нужно траффик именно этого компа, направленный в инет.
=========
=Мой блог. =
=========
Gentoo-ниасилятар
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

vnstat реальная софтина, мне очень понравилась, еще к нему плагин есть на PHP. поднялось за 10 минут, после одного раза прочтения мануала.
Так что на счет спец - дистрибутивов? есть такие в природе под эти нужды?
Еще вот нарыл Ideco Internet Control Server
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
LVS
Сообщения: 264
Статус: All Hail Random
ОС: Kubuntu, CentOS, Slackware

Re: Обсуждение способов подсчета траффика.

Сообщение LVS »

Traffpro.ru - проект появился сравнительно недавно, но уже может очень многое.
Ставится на шлюз, сам управляет iptables для поднятия ната и заварачивает траффик в QUEUE, удобный веб интерфейс, есть командный интерфейс и мощная виндовая программа (под wine работает).
Дружит со squid, dhcp и AD.
Есть коммерческая версия для провайдеров, тем не менее бесплатная версия обладает всеми необходимыми функциями.
Установщик программы расчитан на дистрибутивы на основе RH. На слаку мне пришлось допиливать, но только на уровне копи-пэйст и загрузочных скриптов.

Всем советую.
Спасибо сказали:
Аватара пользователя
strah
Сообщения: 283
ОС: Freebsd, linux, Solaris.

Re: Обсуждение способов подсчета траффика.

Сообщение strah »

Лично сам юзаю на роутере (freebsd 7.1) ipcad + squid + lightsquid. Учет трафика и отключение нерадивых пользователей пока работают хорошо.
/earth: file system full
Спасибо сказали:
Аватара пользователя
On-Lite
Сообщения: 73
ОС: SLES 10

Re: Обсуждение способов подсчета траффика.

Сообщение On-Lite »

Может быть как то можно сделать доступ к интернету в определенное время выбранным пользователям, например каждый рабочий день с 8 до 17?

Еще посмотрите дистрибутив Check Point (Secure Platform). Ставится на Windows, Linux, Solaris и есть своя ОСь. Управляется через консоль Windows (SmartDashBoard) и через SSH.
Исследовательский центр. Инфа по Linux терминалам.
http://netlab.clan.su
Спасибо сказали:
shweew
Сообщения: 42

Re: Обсуждение способов подсчета траффика.

Сообщение shweew »

SAMS и ещё SAMS

Отличная прога, два года пользуюсь, лучше пока не попалось...
Спасибо сказали:
leksstav
Сообщения: 329

Re: Обсуждение способов подсчета траффика.

Сообщение leksstav »

shweew писал(а):
11.05.2009 11:42
SAMS и ещё SAMS

Отличная прога, два года пользуюсь, лучше пока не попалось...



Посмотрите ещё в сторону netacct-mysql доволен как слон. Скриптами могу поделиться. Samas тоже стоит :-)
Спасибо сказали:
Shi3A
Сообщения: 75
ОС: Debian Wheezy x86_64

Re: Обсуждение способов подсчета траффика.

Сообщение Shi3A »

On-Lite писал(а):
30.04.2009 08:31
В общем то хочется поднять сервер статистики чтобы выполнял следующие функции:

- Считал входящий и исходящий трафик на одном интерфейсе
- разбивал все это дела по дням
- выводил в веб

Что нужно для реализации?

А вам наверно подойдет IPCop, хотя не знаю, повлияет ли на него Suse

У самого стоит squid+sarg+stc+apache2
stc - squid traffic counter, веб интерфейс с функционалом. Правда я использую доменную аутентификацию, и кроме как http трафика у меня в сети нет :)
Спасибо сказали:
MIX2000
Сообщения: 58
ОС: Ubuntu
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение MIX2000 »

shweew писал(а):
11.05.2009 11:42
SAMS и ещё SAMS

Отличная прога, два года пользуюсь, лучше пока не попалось...


Аналогично. Правда, счетает не весь трафик, а только по SQUID.
Спасибо сказали:
Аватара пользователя
SyCraft
Сообщения: 8
ОС: ubuntu
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение SyCraft »

traffpro по всем параметрам, вот примеры
Сделай то что хочешь из того что нравится!
Спасибо сказали:
Аватара пользователя
Роман Торопов
Сообщения: 47
ОС: Mandriva CS-4, все PP+
Контактная информация:

Re: Обсуждение способов подсчета траффика.

Сообщение Роман Торопов »

Ну добавлю ещё свою версию (SQUID+MySQL+Apache) ...
CPU Intel Xeon E5462 (2.8/1.6 GHz) 2шт.
MB SuperMicro X7DWE
Adaptec ASR-52445
HDD SATA-II Seagate 1TB ST31000340NS 24 шт
Ethernet Intel® 82598EB 10 Gigabit EXPX9501AFXSR
Спасибо сказали:
Ответить