Парсинг логов Squid - Вопросы

Модератор: Модераторы разделов

Аватара пользователя
Alex2ndr
Сообщения: 443
ОС: Debian Lenny

Парсинг логов Squid - Вопросы

Сообщение Alex2ndr »

Всем доброго времени суток

Решил заняться учетом трафика и не найдя подходящих для себя решений решил написать свое. Оно заключается в учете http трафика через сквид, и учете остального трафика (pop3, smtp и тд) через NetFlow. Все это складывается в базу mysql и потом оттуда выдирается по запросу через веб-морду(написанную на python а точнее на одном из его фрэймворков - django). И если с Netflow все просто (через фильтры складываем входящий и исходящий трафик в разные таблицы), то со squid возникли некоторые проблемы - нашел несколько способов как распарсить сам лог в mysql но нигде не нашел способа как определить где входящий это трафик а где исходящий(а для меня это имеет большое значение так как исходящий канал у меня через skylink). После гугления наткнулся на такие статьи -
Официальная wiki для squid
Частичный перевод оф wiki по части журнала
Еще немного документации по squid
Изучив их я понял что можно попытаться определить направление трафика по методу - но как именно это сделать (т е какие методы куда направляют трафик) я честно говоря не понял. Может мне кто-нить пояснить этот момент?

PS Если допишу свою систему учета то могу выложить все это в качестве урока (т е с описанием чего, как, куда и почему). Если кому интересно могу и текущие наработки выложить.
PPS Пишу веб морду на питоне потому что не знаю других языков :blush:
Спасибо сказали:
Sleeping Daemon
Сообщения: 1450

Re: Парсинг логов Squid - Вопросы

Сообщение Sleeping Daemon »

Alex2ndr писал(а): ↑
27.07.2009 14:32
Всем доброго времени суток

Решил заняться учетом трафика и не найдя подходящих для себя решений решил написать свое. Оно заключается в учете http трафика через сквид, и учете остального трафика (pop3, smtp и тд) через NetFlow. Все это складывается в базу mysql и потом оттуда выдирается по запросу через веб-морду(написанную на python а точнее на одном из его фрэймворков - django). И если с Netflow все просто (через фильтры складываем входящий и исходящий трафик в разные таблицы), то со squid возникли некоторые проблемы - нашел несколько способов как распарсить сам лог в mysql но нигде не нашел способа как определить где входящий это трафик а где исходящий(а для меня это имеет большое значение так как исходящий канал у меня через skylink). После гугления наткнулся на такие статьи -
Официальная wiki для squid
Частичный перевод оф wiki по части журнала
Еще немного документации по squid
Изучив их я понял что можно попытаться определить направление трафика по методу - но как именно это сделать (т е какие методы куда направляют трафик) я честно говоря не понял. Может мне кто-нить пояснить этот момент?

PS Если допишу свою систему учета то могу выложить все это в качестве урока (т е с описанием чего, как, куда и почему). Если кому интересно могу и текущие наработки выложить.
PPS Пишу веб морду на питоне потому что не знаю других языков :blush:

squidalyser не устроил?
Спасибо сказали:
Аватара пользователя
butch
Сообщения: 331
ОС: :OC

Re: Парсинг логов Squid - Вопросы

Сообщение butch »

нетфлоу куда у вас собирается? ;)
и почему при наличии точного нетфлоу, собираетесь что то считать на сквиде? =)
вообще, велосипедов на тему учета трафика сквида столько... зачем вам свой?
Спасибо сказали:
Аватара пользователя
Alex2ndr
Сообщения: 443
ОС: Debian Lenny

Re: Парсинг логов Squid - Вопросы

Сообщение Alex2ndr »

squidalyser не устроил?

Оно конечно хорошо - только оно только для сквида - а мне бы суммарное нужно. Что то я готовых решений не увидел.
нетфлоу куда у вас собирается? wink.gif
и почему при наличии точного нетфлоу, собираетесь что то считать на сквиде? =)
вообще, велосипедов на тему учета трафика сквида столько... зачем вам свой?

Netflow в таблицы mysql собирается (точнее парситься туда) - с ним то как раз просто - можно фильтрами задать и получить трафик ы нужном направлении. Squid здесь выгоден не как система учета а как средство кэширования/аутентификации/ограничений(и тд). А насчет велосипедов - "Каждый админ должен настроить sendmail, написать биллинг и обругать мастдай"© - их конечно много но суммарного по сквиду и остальному трафику нету - что же мне ручками отчеты суммарные ваять? Да и поучиться/попрактиковаться тоже нужно. И еще такой фактор - большинство этих средств учета трафика на perl, который я например не знаю так как его золотой век как-то не застал - по perl статей дофига а по более актуальным на сегодня языкам очень мало.
Спасибо сказали: