squid+lightsquid обработка логов (как считать трафик по доменам 2го уровня)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модератор: SLEDopit

Ответить
Satyr
Сообщения: 3
ОС: FreeBSD

squid+lightsquid обработка логов

Сообщение Satyr »

Доброго времени суток.

Имеется FreeBSD-6.2-release, на ней Squid-2.6-stable18, для просмотра статистики lightsquid-1.7.1. Всё работает нормально.

Но нужно чтобы трафик в статистике суммировался по домену заданного уровня. Т.е. например i36.odnoklassniki.ru и i51.odnoklassniki.ru не показывались отдельными строчками, а выводилась их сумма как odnoklassniki.ru.

Может быть сталкивался кто? Желательно обойтись без установки других обработчиков, уж очень не хочется перелазить с lightsquid.
Спасибо сказали:
HRonik
Сообщения: 140
ОС: Debian

Re: squid+lightsquid обработка логов

Сообщение HRonik »

Ну если в дефолтном конфиг файле нет коментов по этому поводу...
то врядли чтото поможет=\
Хотя разочаровывать не спешу, я не пользовался данным анализатором.
Спасибо сказали:
Satyr
Сообщения: 3
ОС: FreeBSD

Re: squid+lightsquid обработка логов

Сообщение Satyr »

Да действительно, сорри, что забыл указать.
В конфиге lightsquid'a на эту тему есть только параметр "$skipurl", но он полностью убирает адрес из статистики. Это не вариант.
Поиск по web'у также ничего не дал.
Проблема, конечно, не критична, но в статистике за день иногда выходит по 400-600 позиций с одних и тех же ресурсов. Несколько неудобно..
Спасибо сказали:
Satyr
Сообщения: 3
ОС: FreeBSD

Re: squid+lightsquid обработка логов

Сообщение Satyr »

Нашел решение. Может быть пригодится кому.
Оказалось всё довольно просто. В файлике lightparser.pl для этого есть раздел:

Код:

#simplified some common banner system & counters $url=$Lurl; $url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adriver\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(bannerbank\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adnet\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.de)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(odnoklassniki\.ru)/$1www.$2/o;


Вписал туда vkontakte и odnoklassniki, теперь всё ок. Нормальная, красивая стата.
Спасибо сказали:
Аватара пользователя
ДимOn
Сообщения: 192
ОС: Debian GNU/Linux
Контактная информация:

Re: squid+lightsquid обработка логов

Сообщение ДимOn »

Satyr писал(а):
01.08.2008 12:19
Нашел решение. Может быть пригодится кому.
Оказалось всё довольно просто. В файлике lightparser.pl для этого есть раздел:

Код:

#simplified some common banner system & counters $url=$Lurl; $url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adriver\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(bannerbank\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adnet\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.de)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(odnoklassniki\.ru)/$1www.$2/o;


Вписал туда vkontakte и odnoklassniki, теперь всё ок. Нормальная, красивая стата.


Спасибо, тоже искал такое решение.

Кто нибудь сталкивался с тем, что LightSquid врёт!
Смотрю свою статистику за сегодня и вижу там:

vkontakte.ru 2 88 507 9.9 M 0.7%

vkontakte.ru - не когда не захожу и сегодня там точно не был, и что значит 9.9 M если я там не был, как победить это наглое враньё?
Спасибо сказали:
IMB
Сообщения: 2559
ОС: Debian

Re: squid+lightsquid обработка логов

Сообщение IMB »

Это могут быть баннеры, флеши и т.д. Я не думаю, что Вы заходите на, например, google.syndicate.com или google.analyze.com, если я не ошибся в написании.
И строго говоря, в данном случае вопрос к Squid-у. Ведь именно его лог обрабатывается.
Спасибо сказали:
Аватара пользователя
ДимOn
Сообщения: 192
ОС: Debian GNU/Linux
Контактная информация:

Re: squid+lightsquid обработка логов

Сообщение ДимOn »

IMB писал(а):
08.04.2009 21:25
Это могут быть баннеры, флеши и т.д. Я не думаю, что Вы заходите на, например, google.syndicate.com или google.analyze.com, если я не ошибся в написании.
И строго говоря, в данном случае вопрос к Squid-у. Ведь именно его лог обрабатывается.


Может быть и баннеры, а может google-вские сервисы, в день у меня по 8-15 заходов на vkontakte показывает, хотя там я не бываю.


Еще нашел одну неприятную штуку:
Например адреса vkontakte.ru и www.vkontakte.ru считаются разными, хотя в lightparser.pl прописано:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;
Спасибо сказали:
Аватара пользователя
ДимOn
Сообщения: 192
ОС: Debian GNU/Linux
Контактная информация:

Re: squid+lightsquid обработка логов

Сообщение ДимOn »

Еще нашел одну неприятную штуку:
Например адреса vkontakte.ru и www.vkontakte.ru считаются разными, хотя в lightparser.pl прописано:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;



Разобрался, в lightparser.pl строчку нужно писать без www
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;

пишем так:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1.$2/o;
Спасибо сказали:
Ripper989
Сообщения: 1

Re: squid+lightsquid обработка логов

Сообщение Ripper989 »

Добрый день! Подскажите пжлста возможно ли ограничить формирование отчетов по объему траффика? например по одному пользователю вываливается куча ссылок (всякие баннеры и т.п., которые отражаются как отдельные строки), соответственно хотелось бы почистить статистику путем фильтрации всех ссылок по которым траффик меньше например 200 килобайт.

LightSquid v1.8
Squid версии 3.1
Спасибо сказали:
Ответить