Доброго времени суток.
Имеется FreeBSD-6.2-release, на ней Squid-2.6-stable18, для просмотра статистики lightsquid-1.7.1. Всё работает нормально.
Но нужно чтобы трафик в статистике суммировался по домену заданного уровня. Т.е. например i36.odnoklassniki.ru и i51.odnoklassniki.ru не показывались отдельными строчками, а выводилась их сумма как odnoklassniki.ru.
Может быть сталкивался кто? Желательно обойтись без установки других обработчиков, уж очень не хочется перелазить с lightsquid.
squid+lightsquid обработка логов (как считать трафик по доменам 2го уровня)
Модератор: SLEDopit
Re: squid+lightsquid обработка логов
Ну если в дефолтном конфиг файле нет коментов по этому поводу...
то врядли чтото поможет=\
Хотя разочаровывать не спешу, я не пользовался данным анализатором.
то врядли чтото поможет=\
Хотя разочаровывать не спешу, я не пользовался данным анализатором.
Re: squid+lightsquid обработка логов
Да действительно, сорри, что забыл указать.
В конфиге lightsquid'a на эту тему есть только параметр "$skipurl", но он полностью убирает адрес из статистики. Это не вариант.
Поиск по web'у также ничего не дал.
Проблема, конечно, не критична, но в статистике за день иногда выходит по 400-600 позиций с одних и тех же ресурсов. Несколько неудобно..
В конфиге lightsquid'a на эту тему есть только параметр "$skipurl", но он полностью убирает адрес из статистики. Это не вариант.
Поиск по web'у также ничего не дал.
Проблема, конечно, не критична, но в статистике за день иногда выходит по 400-600 позиций с одних и тех же ресурсов. Несколько неудобно..
Re: squid+lightsquid обработка логов
Нашел решение. Может быть пригодится кому.
Оказалось всё довольно просто. В файлике lightparser.pl для этого есть раздел:
Вписал туда vkontakte и odnoklassniki, теперь всё ок. Нормальная, красивая стата.
Оказалось всё довольно просто. В файлике lightparser.pl для этого есть раздел:
Код:
#simplified some common banner system & counters
$url=$Lurl;
$url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(adriver\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(bannerbank\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(adnet\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.de)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(odnoklassniki\.ru)/$1www.$2/o;
Вписал туда vkontakte и odnoklassniki, теперь всё ок. Нормальная, красивая стата.
Re: squid+lightsquid обработка логов
Satyr писал(а): ↑01.08.2008 12:19Нашел решение. Может быть пригодится кому.
Оказалось всё довольно просто. В файлике lightparser.pl для этого есть раздел:
Код:
#simplified some common banner system & counters $url=$Lurl; $url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adriver\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(bannerbank\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(adnet\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.de)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.com)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o; $url =~ s/([a-z]+:\/\/)??.*\.(odnoklassniki\.ru)/$1www.$2/o;
Вписал туда vkontakte и odnoklassniki, теперь всё ок. Нормальная, красивая стата.
Спасибо, тоже искал такое решение.
Кто нибудь сталкивался с тем, что LightSquid врёт!
Смотрю свою статистику за сегодня и вижу там:
vkontakte.ru 2 88 507 9.9 M 0.7%
vkontakte.ru - не когда не захожу и сегодня там точно не был, и что значит 9.9 M если я там не был, как победить это наглое враньё?
Re: squid+lightsquid обработка логов
Это могут быть баннеры, флеши и т.д. Я не думаю, что Вы заходите на, например, google.syndicate.com или google.analyze.com, если я не ошибся в написании.
И строго говоря, в данном случае вопрос к Squid-у. Ведь именно его лог обрабатывается.
И строго говоря, в данном случае вопрос к Squid-у. Ведь именно его лог обрабатывается.
Re: squid+lightsquid обработка логов
Может быть и баннеры, а может google-вские сервисы, в день у меня по 8-15 заходов на vkontakte показывает, хотя там я не бываю.
Еще нашел одну неприятную штуку:
Например адреса vkontakte.ru и www.vkontakte.ru считаются разными, хотя в lightparser.pl прописано:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;
Re: squid+lightsquid обработка логов
Еще нашел одну неприятную штуку:
Например адреса vkontakte.ru и www.vkontakte.ru считаются разными, хотя в lightparser.pl прописано:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;
Разобрался, в lightparser.pl строчку нужно писать без www
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;
пишем так:
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1.$2/o;
Re: squid+lightsquid обработка логов
Добрый день! Подскажите пжлста возможно ли ограничить формирование отчетов по объему траффика? например по одному пользователю вываливается куча ссылок (всякие баннеры и т.п., которые отражаются как отдельные строки), соответственно хотелось бы почистить статистику путем фильтрации всех ссылок по которым траффик меньше например 200 килобайт.
LightSquid v1.8
Squid версии 3.1
LightSquid v1.8
Squid версии 3.1