Сбор статистики NAT iptables

[TonnyBennet]

Здравствуйте.

Во всех офисах организации использую Ubuntu Server с настроенным NAT и прозрачным прокси-сервером squid. Недавно решил сделать шейпер на базе HTB, но возникли некоторые сложности, описанные здесь. Данная схема работы мне нравится тем, что я могу ограничивать пользователей в доступе к определённым сайтам и сетям при помощи ACL в squid; также есть адекватная статистика, которую рисует lightsquid. Но т.к. через прокси идёт только web трафик, весь остальной трафик я попросту не учитываю в статистике и в данной схеме невозможно настроить шейпер.

Скажите есть ли готовые продукты типа lightsquid для учёта статистики доступа в интернет через NAT, каждого пользователя (под пользователем я понимаю один IP адрес локальной сети)? Можно ли и стоит ли делать NAT кеширующим? (сейчас squid порядка 10% отдаёт из кеша)

[Olden Gremlin]

Скажите есть ли готовые продукты типа lightsquid для учёта статистики доступа в интернет через NAT, каждого пользователя (под пользователем я понимаю один IP адрес локальной сети)?

Есть такой протокол - netflow. Есть различные его реализации как для сенсоров так и коллекторов , а также анализаторов. Но если хочется собрать статистику "под пользователем я понимаю один IP адрес локальной сети" то nwtflow - это наше всё.

Можно ли и стоит ли делать NAT кеширующим? (сейчас squid порядка 10% отдаёт из кеша)

Долго пытался понять вопрос. Не осилил. Решил спросить: а Вы вообще понимаете как работает SNAT/MASQUERADE?

[TonnyBennet]

Скажите есть ли готовые продукты типа lightsquid для учёта статистики доступа в интернет через NAT, каждого пользователя (под пользователем я понимаю один IP адрес локальной сети)?

Есть такой протокол - netflow. Есть различные его реализации как для сенсоров так и коллекторов , а также анализаторов. Но если хочется собрать статистику "под пользователем я понимаю один IP адрес локальной сети" то nwtflow - это наше всё.

Можно ли и стоит ли делать NAT кеширующим? (сейчас squid порядка 10% отдаёт из кеша)

Долго пытался понять вопрос. Не осилил. Решил спросить: а Вы вообще понимаете как работает SNAT/MASQUERADE?

Про netflow спасибо. Поищу что-нибудь...


Я прекрасно представляю себе как работает SNAT и понимаю, что к преобразованию адреса источника в пакете приклеить понятия кеширования данных невозможно. Просто когда то в далёёёёком детстве слышал такую байку и думал, что может есть что-то подобное. Спасибо, что направили на путь истинный!

[Olden Gremlin]

Про netflow спасибо. Поищу что-нибудь...

flow-tools, fprobe, nfdump, ipcad...

Я прекрасно представляю себе как работает SNAT и понимаю, что к преобразованию адреса источника в пакете приклеить понятия кеширования данных невозможно. Просто когда то в далёёёёком детстве слышал такую байку и думал, что может есть что-то подобное. Спасибо, что направили на путь истинный!

Для снижения нагрузки на внешний канал можно кешировать DNS-запросы на локальном сервере, можно поставить Squid для проксирования http/https/ftp трафика. Можно, если это провайдер или большая локалка, поставить ретрекер для торрент-трафика. Пожалуй всё, остальное малопригодно для какого-либо кеширования.

[TonnyBennet]

Про netflow спасибо. Поищу что-нибудь...

flow-tools, fprobe, nfdump, ipcad...

Я прекрасно представляю себе как работает SNAT и понимаю, что к преобразованию адреса источника в пакете приклеить понятия кеширования данных невозможно. Просто когда то в далёёёёком детстве слышал такую байку и думал, что может есть что-то подобное. Спасибо, что направили на путь истинный!

Для снижения нагрузки на внешний канал можно кешировать DNS-запросы на локальном сервере, можно поставить Squid для проксирования http/https/ftp трафика. Можно, если это провайдер или большая локалка, поставить ретрекер для торрент-трафика. Пожалуй всё, остальное малопригодно для какого-либо кеширования.

Спасибо за примеры. Кеширующий DNS стоит, прокси-сервер squid тоже стоит и ведёт свою статистику и совместно с ним не получится настроить шейпер HTB, ради которого всё затевается.

[TonnyBennet]

Чуть более плотно изучил вопрос netflow.

Как я вижу себе свою схему, поправьте пожалуйста если не так:

Запущу сенсоры на интерфейсе локальной сети и на интерфейсах которые смотрят в сторону Интернета. Данные с сенсоров будут передаваться на локальный коллектор и локально же запущу анализатор.

Сейчас у меня стоит squid и lightsquid для сбора и анализа статистики. Я могу видеть текущий потреблённый веб-трафик пользователя за сутки в достаточно удобном веб-интерфейсе, но не могу видеть трафик по часам и минутам. Коллектор по идее формирует запись, в которой содержится время начала и конца потока. Есть ли такие анализаторы, в которых получится настроить просмотр статистики по IP за сутки (и меньший промежуток времени)? Как будет отображаться трафик от интернет-радио (сессия может начаться в 9 утра и закончиться в 13-00, статистика сформируется только в 13-00)? Как много места занимает БД коллектора? Стоит ли использовать коллекторы с MySQL?

[leksstav]

Здравствуйте.

Во всех офисах организации использую Ubuntu Server с настроенным NAT и прозрачным прокси-сервером squid. Недавно решил сделать шейпер на базе HTB, но возникли некоторые сложности, описанные здесь. Данная схема работы мне нравится тем, что я могу ограничивать пользователей в доступе к определённым сайтам и сетям при помощи ACL в squid; также есть адекватная статистика, которую рисует lightsquid. Но т.к. через прокси идёт только web трафик, весь остальной трафик я попросту не учитываю в статистике и в данной схеме невозможно настроить шейпер.

Скажите есть ли готовые продукты типа lightsquid для учёта статистики доступа в интернет через NAT, каждого пользователя (под пользователем я понимаю один IP адрес локальной сети)? Можно ли и стоит ли делать NAT кеширующим? (сейчас squid порядка 10% отдаёт из кеша)

Посмотрите в сторону netaccct-mysql.