Почему squid не экономит трафик

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

zkrvova
Сообщения: 280

Почему squid не экономит трафик

Сообщение zkrvova »

Настроил я прозрачный squid чтоб экономить трафик.

Сидят значит люди, человек 200-300, занимают канал на скорости достигающей 7 Мб/с. И никакого эфекта.

Думал что надо подождать пока кеш заполнится. Ждал целый день, каталог с кешем достиг размера 2Гига, но нет никакого снижения нагрузки на канал, даже иногда немного больше через прокси жрёт.

Что делать?

Настройки которые я менял:

cache_mem 1024 MB
maximum_object_size 4096 KB
maximum_object_size_in_memory 64 KB

cache_dir ufs /var/spool/squid 10000 16 256
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Почему squid не экономит трафик

Сообщение rm_ »

Попробуйте покрутить:
http://www.squid-cache.org/Versions/v2/2.6...sh_pattern.html
http://www.squid-cache.org/Versions/v2/2.6...xpiry_time.html
(может быть он слишком часто повторно скачивает якобы устаревшие файлы).

И ещё, в дефолтных конфигах часто зарублено кэширование динамического контента вообще, примерно так:
http://www.squid-cache.org/Versions/v2/2.6/cfgman/cache.html
Попробуйте приведённые там две строчки закомментировать.
Спасибо сказали:
Аватара пользователя
DaemonTux
Сообщения: 1480
Статус: Юный падаван
ОС: Gentoo

Re: Почему squid не экономит трафик

Сообщение DaemonTux »

zkrvova писал(а):
17.02.2008 23:46
Настроил я прозрачный squid чтоб экономить трафик.

Сидят значит люди, человек 200-300, занимают канал на скорости достигающей 7 Мб/с. И никакого эфекта.

Думал что надо подождать пока кеш заполнится. Ждал целый день, каталог с кешем достиг размера 2Гига, но нет никакого снижения нагрузки на канал, даже иногда немного больше через прокси жрёт.

Что делать?

Настройки которые я менял:

cache_mem 1024 MB
maximum_object_size 4096 KB
maximum_object_size_in_memory 64 KB

cache_dir ufs /var/spool/squid 10000 16 256

А полный конфиг можно увидетью? Ну и версию сквида.
Vladivostok Linux User Group
Спасибо сказали:
Аватара пользователя
chitatel
Сообщения: 2115
ОС: Debian 13 / Xubuntu 26.04

Re: Почему squid не экономит трафик

Сообщение chitatel »

Извиняюсь, что паразитирую... :rolleyes:

Использую squid на локальной (домашней) машине. Цель - как раз экономия трафика хоть какая-нето.

Debian 4.0 Etch

Код: Выделить всё

ii  squid              2.6.5-6etch1       Internet Object Cache (WWW proxy cache)


Конфигурацию почти не менял, файл выглядит так:

Код:

http_port 3128 hierarchy_stoplist cgi-bin ? acl QUERY urlpath_regex cgi-bin \? cache deny QUERY acl apache rep_header Server ^Apache broken_vary_encoding allow apache cache_mem 80 MB cache_dir ufs /var/spool/squid 500 16 256 access_log /var/log/squid/access.log squid hosts_file /etc/hosts refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern . 0 20% 4320 acl all src 0.0.0.0/0.0.0.0 acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 # https acl SSL_ports port 563 # snews acl SSL_ports port 873 # rsync acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl SSL_ports port 443 # https acl SSL_ports port 563 # snews acl SSL_ports port 873 # rsync acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl Safe_ports port 631 # cups acl Safe_ports port 873 # rsync acl Safe_ports port 901 # SWAT acl purge method PURGE acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access allow purge localhost


Буду благодарен за конструктивную критику.

Памяти достаточно, cache_mem и cache_dir стоит увеличить?
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Почему squid не экономит трафик

Сообщение rm_ »

chitatel
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

Прежде чем "паразитировать", имеет смысл внимательно изучить уже данные в теме советы.

Кроме того, у Вас неоптимально (для экономии трафика) настроена refresh_pattern.
А вообще, смотрите документацию по этим и другим параметрам настройки кэша.

cache_mem и cache_dir стоит увеличить?

cache_mem нет, cache_dir - да.
Спасибо сказали:
zkrvova
Сообщения: 280

Re: Почему squid не экономит трафик

Сообщение zkrvova »

DaemonTux писал(а):
18.02.2008 03:59
А полный конфиг можно увидетью? Ну и версию сквида.


Пожалуйста.

У вас нет необходимых прав для просмотра вложений в этом сообщении.
Спасибо сказали:
Аватара пользователя
chitatel
Сообщения: 2115
ОС: Debian 13 / Xubuntu 26.04

Re: Почему squid не экономит трафик

Сообщение chitatel »

rm_ писал(а):
18.02.2008 10:20
А вообще, смотрите документацию по этим и другим параметрам настройки кэша.

Это само собой. Недавно закончил чтение обширного конфигурационного файла, но не могу сказать, что всё понял. И, главное, - не всегда ясно, какой именно параметр стоит применить в моём случае.

cache_mem нет, cache_dir - да.

Увеличил сache_dir до 1000. Это ОКейно?

Код: Выделить всё

acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY

Закомментировал.

Кроме того, у Вас неоптимально (для экономии трафика) настроена refresh_pattern.

Вот как раз тут мне не совсем понятно, как именно стоит рулить.

В любом случае - спасибо.
Спасибо сказали:
zkrvova
Сообщения: 280

Re: Почему squid не экономит трафик

Сообщение zkrvova »

Ещё и пользователи стали жаловаться что страницы медленно открываются.

И правда, страница гугла открывается секунд 5-10. Так там нечего грузить!
Спасибо сказали:
berDrug
Сообщения: 88
ОС: Mandriva 2006.0

Re: Почему squid не экономит трафик

Сообщение berDrug »

# Windows Update
refresh_pattern windowsupdate.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
refresh_pattern download.microsoft.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
# Pictures
refresh_pattern -i .gif$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .png$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .jpg$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .jpeg$ 43200 100% 43200 override-lastmod override-expire
Спасибо сказали:
zkrvova
Сообщения: 280

Re: Почему squid не экономит трафик

Сообщение zkrvova »

berDrug писал(а):
19.02.2008 10:33
# Windows Update
refresh_pattern windowsupdate.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
refresh_pattern download.microsoft.com/.*\.(cab|exe|zip|psf)$ 43200 100% 43200
# Pictures
refresh_pattern -i .gif$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .png$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .jpg$ 43200 100% 43200 override-lastmod override-expire
refresh_pattern -i .jpeg$ 43200 100% 43200 override-lastmod override-expire

Это что значит?
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Почему squid не экономит трафик

Сообщение rm_ »

zkrvova
Это значит, что файлы с указанных сайтов и указанных типов будут кэшироваться очень долго, и не проверяться на модифицированность, и не загружаться повторно.

berDrug
Спасибо, добавил часть про картинки себе в конфиг.
Спасибо сказали:
Аватара пользователя
chitatel
Сообщения: 2115
ОС: Debian 13 / Xubuntu 26.04

Re: Почему squid не экономит трафик

Сообщение chitatel »

zkrvova писал(а):
19.02.2008 15:45
Это что значит?

Это, как я понял, примеры использования refresh_pattern.

Первые две строки определяют степень "свежести" файлов *cab | exe | zip | psf по двум указанным адресам.

Четыре следующие - степень этой самой "свежести" указанных типов файлов (графика на страничке) - глобально.

При этом: override-lastmod override-expire принудительно отдаёт предпочтение значению min, даже если объект недавно модифицирован или если сервер выдает значение expires.

При этом и min и max равны, в минутах, т.е. это сколько будет? 3-е суток, что ли? И относится это ко всей графике - 100%.

Прав ли я? Жду критических замечаний.
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian

Re: Почему squid не экономит трафик

Сообщение rm_ »

При этом и min и max равны, в минутах, т.е. это сколько будет? 3-е суток, что ли?

43200 / 60 / 24 = 30 суток.
Спасибо сказали:
Аватара пользователя
chitatel
Сообщения: 2115
ОС: Debian 13 / Xubuntu 26.04

Re: Почему squid не экономит трафик

Сообщение chitatel »

rm_, спасибо.

То-то я сомневался: а не долговато ли целый месяц?

Кстати, berDrug'у респект. Цинично украл у него строчки про pictures. :)
Спасибо сказали:
berDrug
Сообщения: 88
ОС: Mandriva 2006.0

Re: Почему squid не экономит трафик

Сообщение berDrug »

Пользуйтесь, друзья :) На самом деле это часть рабочего конфига...
А вообще как эффективность сквида проверяли? Анализатор логов какой-нибудь используете?
http://pm4u.narod.ru/squid_logs.htm
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: Почему squid не экономит трафик

Сообщение serzh-z »

chitatel писал(а):
19.02.2008 18:26
а не долговато ли целый месяц?
У меня полгода стоит для всяких архивов и файлов с сайтов, типа rfc.org.
Спасибо сказали:
zkrvova
Сообщения: 280

Re: Почему squid не экономит трафик

Сообщение zkrvova »

А что можно сделать чтоб сайты быстро загружались? Ато пришлось отключить, люди сильно жалуються.
Спасибо сказали: