Как же хорошо работает этот SQUID+SARG (в конторе стало хорошо))

[Quicksand]

Всем привет, не так давно поднимал пару тем по вопросу построения прозрачного прокси + учета трафика что по нему ходит, и вот спешу поделиться своими мнениями, и впечатлениями.

В сети реально 350-400 компов, все раньше просто ходили в нет, трафик считался, но прокси небыло, контора потребляла в месяц 450-500 гигов трафа, отдают то нам его при наших объемах за копейки... но все же.
Тут решил поднять SQUID как прозрачный прокси + SARG как учет трафика, все настр, размер кеша поставил 10 гигов, заблокил баннеры и рекламу, и стало все гуд, на 2-3 гига упала средняя дневная потребляемость, я просто в восторге, тему вкурил подробно, если у кого какие проблемы по настройке, готов проконсультировать, милости просим в топик))). Спасибо большое всем кто помогал...

[Quicksand]

Одно только осталось непонятно, вроде все работает, все бегает, во только когда выставляю размер кеша больше 100МБ например 1000МБ рисует ошибку, но ребутится и встает.... кто знает такую проблему?
WARNING cache_mem is larger than total disk cache space!

[Goodvin]

Одно только осталось непонятно, вроде все работает, все бегает, во только когда выставляю размер кеша больше 100МБ например 1000МБ рисует ошибку, но ребутится и встает.... кто знает такую проблему?
WARNING cache_mem is larger than total disk cache space!

Может быть стоит перевести текст ошибки на русский язык и прочесть его ?
Написано довольно внятно, с наводкой на "корень зла".

[Quicksand]

с языком у меня проблем нет, вы бы лучше проблему помогли решить, а не язык преподавать пытались... я не нашел решения проблемы в гугле, есть только догадки.... но глупые, хочу услышать кто сталкивался, а я более уверен что многие кто ставил размер кеша более 100 метро

[M$mustdie]

я просто в восторге

тему вкурил подробно,

я сейчас тоже пытаюсь затянуться в срочном порядке

если у кого какие проблемы по настройке, готов проконсультировать, милости просим в топик))).

вопросы есть. Описываю ситуацию.
Сейчас на мастайной машине стоит вингейт. На машине две сетевые карты, к одной бриджем приколочен ADSL-модем. Вингейт разруливает весь интернет-трафик.
Я пытаюсь создать функциональный аналог. Поставил SUSE 10 server со сквидом, сквидГардом, апачем и mysql.
Фишка в том, что провайдера тоже планирую поменять, теперь вместо модема будет WiMax, который в локальную сеть смотрит дырочкой с адресом 192.168.0.254/255.255.255.0
Локальная сеть имеет диапазон 192.168.1.0/255

Вопрос номер 1: правильно ли будет поставить вторую сетевую карту (аналогично старой схеме)?

[VPF]

Фишка в том, что провайдера тоже планирую поменять, теперь вместо модема будет WiMax, который в локальную сеть смотрит дырочкой с адресом 192.168.0.254/255.255.255.0
Локальная сеть имеет диапазон 192.168.1.0/255

Вопрос номер 1: правильно ли будет поставить вторую сетевую карту (аналогично старой схеме)?

Конечно, а как же иначе.

[Quicksand]

люди, про мою проблему то не забыли? я спецом тему под это открыл
Одно только осталось непонятно, вроде все работает, все бегает, во только когда выставляю размер кеша больше 100МБ например 1000МБ рисует ошибку, но ребутится и встает.... кто знает такую проблему?
WARNING cache_mem is larger than total disk cache space!

[VPF]

люди, про мою проблему то не забыли? я спецом тему под это открыл
Одно только осталось непонятно, вроде все работает, все бегает, во только когда выставляю размер кеша больше 100МБ например 1000МБ рисует ошибку, но ребутится и встает.... кто знает такую проблему?
WARNING cache_mem is larger than total disk cache space!

Да вроде Goodvin пытался сказать, надеясь на ваше внимание...
Squid пишет, что кеш, который указывается превышает выделенный дисковый кеш.

[Quicksand]

да я понял что мне хотят сказать) как это решить? как пробле му то это решить???? как что сделать?

[M$mustdie]

как это решить?

напрашивается либо перенос кэша на более просторный том, либо ... хм... увеличение старого

[dr-evil]

у меня один вопрос а нахрен вы его меняете?
сменил размер кеша squid -z (вроде)

[M$mustdie]

а вообще сколько на ЭТОМ диске места свободного?

[Goodvin]

с языком у меня проблем нет, вы бы лучше проблему помогли решить,

Я уже это делаю: чтение и понимание сообщения об ошибке напрячмую ведет к решению проблемы.
Решение простое: понять что это за параметр и зачем он нужен, понять почему он оказывается больше значения дискового кэша и перестать ставить его больше, чем нужно.
Либо изменить другие параметры, чтобы исклюбчить данный warning.

а не язык преподавать пытались... я не нашел решения проблемы в гугле, есть только догадки.... но глупые, хочу услышать кто сталкивался, а я более уверен что многие кто ставил размер кеша более 100 метро

Как насчет написанного вот тут
http://www.visolve.com/squid/squid30/cachesize.php

Description cache_mem defines the ideal amount of memory to be used for In-Transit objects, Hot Objects, Negative-Cached
objects
Synopsis
Data for these objects are stored in 4 KB blocks. This parameter specifies the ideal upper limit on the total size of 4 KB blocks allocated.

In-transit objects have priority over the others. When additional space is needed for incoming data, Negative-cached and Hot objects will be released. In other words, the negative-cached and hot objects will fill up any unused space not needed for In-transit objects.

If circumstances require, this limit will be exceeded. Specifically, if your incoming request rate requires more than cache_mem of memory to hold In-transit objects, Squid will exceed this limit to satisfy the new requests. When the load decreases, blocks will be freed until the high-water mark is reached. Thereafter, blocks will be used to store hot objects.

Note: This tag does not specify the maximum process size. It places a limit on one aspect of squid's memory usage. Squid uses memory for other things as well. Process will probably become twice or three times bigger than the value put here.

[Quicksand]

как я понял из прочитанного если я хоче делать свой кеш размером 1000мб мне надо в конфиге
cache_mem 1000 MB
cache_swap_low 950
cache_swap_high percent 1050
и это решит мою проблему и устранит ошибку???

[VPF]

как я понял из прочитанного если я хоче делать свой кеш размером 1000мб мне надо в конфиге
cache_mem 1000 MB
cache_swap_low 950
cache_swap_high percent 1050
и это решит мою проблему и устранит ошибку???

[Quicksand]

что то не верно... не решило это моей проблемы, так же ошибка выскакивает

[JonnyBekoff]

что то не верно... не решило это моей проблемы, так же ошибка выскакивает

Это и не решит проблемы, если сознательно исправить эти 3 параметра на заведомо нерабочие

[Warderer]

читать руководство по squid в сторону параметра cache_dir

[rubtsov]

машина с 2-мя интерфейсами, один смотрит в локалку, другой в инет. стоит squid(transparent)+sarg, учитываютя все соединения из локалки, кроме тех, что были с ip интерфеса, который смотрит в локалку на этой самой машины. как учитывать и этот трафик?

еще вопрос: аутентификация пользователей на прозрачном прокси не работает?

[esvaf]

А кто мне поможет грамотным конфигом с авторизацией пользователей по логину/паролю, с полным журналированием трафика(что откуда когда и сколько), а так-же с урезанием скоростей по пользователям.
p.s. пользователей будет 500-1000, так что желательно чтобы список был в удобной форме, а еще лучше в mysql.(под списком подразумевается база логинов, паролей, скоростных ограниченией). Ну и интерфейс надо к журналированию.

Это реально сотворить?

P.P.S. А сильно ли упадет скорость загрузки страниц и файлов через прокси у тех пользователей, у которых не будет ограничений на скорость?
Да, проксей является селерон 2000.

[esvaf]

А кто мне поможет грамотным конфигом с авторизацией пользователей по логину/паролю, с полным журналированием трафика(что откуда когда и сколько), а так-же с урезанием скоростей по пользователям.
p.s. пользователей будет 500-1000, так что желательно чтобы список был в удобной форме, а еще лучше в mysql.(под списком подразумевается база логинов, паролей, скоростных ограниченией). Ну и интерфейс надо к журналированию.

Это реально сотворить?

P.P.S. А сильно ли упадет скорость загрузки страниц и файлов через прокси у тех пользователей, у которых не будет ограничений на скорость?
Да, проксей является селерон 2000.

Хотя я тут подумал, и наверно лучше реализовать другой вариант, дкмаю более простой. Это:
Прозрачный прокси, с журналированием трафика (желательно по именам пользователей домена).
Так,же очень кстати были бы возможности отключения конкретных пользователей от инета, и возможность ограничения скорости.

Как такое реализовать?

[rubtsov]

сам брал здесь: http://www.linuxcenter.ru/lib/articles/net...tml?style=print

но вот мои вопросы остались без ответа.

[jabx]

Вопрос ламерский!
Дано: доступ в инет в виде lan c определенным IP, небольшая сетка 192.168.1.x с неконтролируемым доступом через ADSL.
Планируется расширение сетки, перход на доступ в интеренет через вышеуказанный lan и соответсвенно нужен какой-то контроль на шлюзе (min учет трафика и ограничения, + желательно: банерорезка, резка файлов по формату.DNScache, антивирус).

Машина какая нибудь найдется (какая необходима - руководство заинтересовано).
Пользуюсь Debian Etch, наслышан о его стабильности, хочу его поставить на роутер.
Я пока еще null в администрировании.
С чего начать.
1)Что лучше настраивать роутер или прокси сервер.
2)какие пакеты необходимы.
3)Что почитать по теме (начал с Руководства администратора LINUX, пока не сильно продвинулся).
Еще есть мысль организовать локальный репозиторий Ubuntu пополняемый в зависимости от запроса пакетов из оффициального репозитория (но это уже отдельная тема).

[Goodvin]

Вопрос ламерский!

Это не оправдание тому, что автор вопроса не желает думать собственной головой.

С чего начать.

С составления грамотного техзадания - чего вообще надо.
Формализовать задачу, разделить ее на конкретные подзадачи-пункты, а только потом определяться с инструментами для реализации.

"Если пытаться автоматизировать бардак - ничего, кроме автоматизированного бардака в результате получить не удастся"(С) мой старый добрый преподаватель в универе

[jabx]

Это не оправдание тому, что автор вопроса не желает думать собственной головой.

от ламеров устали? читая форум я заметил что господин Goodvin любит раздавать упреки вместо помощи, а в этот раз даже никуда не послал новичка(хотя об этом просили).

[rubtsov]

но вот мои вопросы остались без ответа.

обновил sarg и все вопросы отпали.

[M$mustdie]

А кто мне поможет грамотным конфигом с авторизацией пользователей по логину/паролю, с полным журналированием трафика(что откуда когда и сколько)

существует несколько решений, большинство из них используют внешнюю программу аутентификации.
Я пытаюсь сейчас запустить вот это: http://www.uvsw.narod.ru/project/squid2mysql.html
но пока не получилось (причину ищу).

Общая идея, как я понял, такова: если в конфиге Сквида прописано auth_param basic program <путь_к_программе>, то он ожидает на каждый запрос ответ от этой программы. Если ответ ОК, то ок. Если ERR - запрос обламывается.
См также иные варианты:
http://pb.pils.ru/
http://aler1.narod.ru/progs_squidlog3.htm
http://sams.perm.ru/
мной не тестировались

[-sanches-]

Господа, а sarg может обработать сразу несколько файлов? Просто в логах squid есть 3 файла
access.log
access.log.1
access.log.2.gz
и мне надо собрать статистику за определенный интервал времени. А данные из этого интервала как раз раскинуты по этим трем файлам.
Пробовал пошаманить с параметром access_log в sarg.conf, но в итоге он все равно обрабатывает только один файл.
Гранд мерси за помощь.

[IMB]

Господа, а sarg может обработать сразу несколько файлов? Просто в логах squid есть 3 файла
access.log
access.log.1
access.log.2.gz
и мне надо собрать статистику за определенный интервал времени. А данные из этого интервала как раз раскинуты по этим трем файлам.
Пробовал пошаманить с параметром access_log в sarg.conf, но в итоге он все равно обрабатывает только один файл.
Гранд мерси за помощь.

А зачем такие сложности? Приведенные Вами файлы - логи squid-а после ротации. Настройке снятие отчета до ротации - получите отчет за прошедший период. Если Вам не хочется после суммировать - настройке ротацию логов в нужный Вам период, например каждые 3 дня.

[Warderer]

Господа, а sarg может обработать сразу несколько файлов? Просто в логах squid есть 3 файла
access.log
access.log.1
access.log.2.gz
и мне надо собрать статистику за определенный интервал времени. А данные из этого интервала как раз раскинуты по этим трем файлам.
Пробовал пошаманить с параметром access_log в sarg.conf, но в итоге он все равно обрабатывает только один файл.
Гранд мерси за помощь.

Рекомендую присмотреться к SAMS (sams.perm.ru), заодно ещё немалое количиство фенечек приобретёте.