Проблемы с прозрачностью прокси сервера! (Debian lenny squid3)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

Уважаемые гурру помогите разобраться с проблемой прозрачности:

Пытаюсь уже неделю поднять прокси сервер, но прозрачность не получается ниже приведен конфиг сквида...

Код: Выделить всё

acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
# ============================================================
# -- Пользователи
acl vip_usr src "/etc/squid3/vip_usr.txt"
acl usr src 192.168.10.0/24
#acl all src  0.0.0.0/0.0.0.0
# -- /Пользователи
# =============================================================
# -- Запреты к сайтам
#acl stzapret dstdomain "Путь к файлу с сайтами(.my.mail.ru)"
# -- /Запреты к сайтам
# =============================================================
acl SSL_ports port 443 563
# =============================================================
# -- сторонние программы работающие через инет
acl SSL_for_clients_banks port 910 8443 4500
acl SSL_for_bercut port 7080
# -- /спрчи
# =============================================================
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
#acl Safe_ports port 70         # gopher
#acl Safe_ports port 210                # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
# ================================================================
# -- порты для работы почты и аськи
acl POP_PORTS port 110
acl SMTP_PORTS port 25
acl ICQ_PORTS port 5190
# -- / порты для работы почты и аськи
# ================================================================
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
# =================================================================
# -- порты ICQ SMTP POP KLBANK BERCUT раздрешаем
http_access allow CONNECT ICQ_PORTS
http_access allow CONNECT POP_PORTS
http_access allow CONNECT SMTP_PORTS
# -- / порты
# ================================================================
http_access allow localhost
# ================================================================
# -- пользователи
http_access allow usr
http_access allow vip_usr
#http_access deny st_zapret   # запрет к сайтам в списке !vip_usr
# -- /пользователи
# ================================================================
http_access deny all
icp_access deny all
htcp_access deny all
# ========================путы и ограничения в скорости==========
delay_pools 2
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1  # -- вся ширина канала
delay_access 1 allow vip_usr
delay_access 1 deny all
delay_class 2 2
delay_parameters 2 -1/-1 20000/3000000 # -- скорость 20 кб/с после 3 метров тра$
delay_access 2 allow usr
delay_access 2 deny all
#=========================/////////////////////////////==========
# ========================прозрачность прокси=====================
http_port 192.168.10.100:3128 transparent
# ========================///////////////////=====================
hierarchy_stoplist cgi-bin ?
# ========================кэш=====================================
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_mem 128 MB  # -- озу под кэш
maximum_object_size 16384 KB
cache_dir ufs /var/spool/squid3 7000 16 128
cache_access_log /var/log/squid3/access.log
cache_log /var/log/squid3/cache.log
error_directory /usr/share/squid3/errors/Russian-1251
# =======================/кэш======================================

access_log /var/log/squid3/access.log squid

refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern (cgi-bin|\?)    0       0%      0
refresh_pattern .               0       20%     4320
icp_port 3130
coredump_dir /var/spool/squid3
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

В iptables для теста сбросил правила и завернул 80 порт на 3128....
Спасибо сказали:
pelmen
Сообщения: 1268
ОС: debian

Re: Проблемы с прозрачностью прокси сервера!

Сообщение pelmen »

покажи правила iptables
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

pelmen писал(а):
26.06.2010 17:40
покажи правила iptables


я смогу показать только в понедельник т.к. на работе стоит компик, а по сквиду что можете сказать?
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Ленивая Бестолочь »

Leo45 писал(а):
26.06.2010 19:37
я смогу показать только в понедельник т.к. на работе стоит компик, а по сквиду что можете сказать?

по сквиду можем сказать "покажи логи сквида" ;-)
конфиг с виду нормальный.
в чем выражается "прозрачность не получается"?
пароль спрашивает или ошибка какая-то?
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

Ленивая Бестолочь писал(а):
27.06.2010 16:09
Leo45 писал(а):
26.06.2010 19:37
я смогу показать только в понедельник т.к. на работе стоит компик, а по сквиду что можете сказать?

по сквиду можем сказать "покажи логи сквида" ;-)
конфиг с виду нормальный.
в чем выражается "прозрачность не получается"?
пароль спрашивает или ошибка какая-то?


Если явно в браузере не прописать прокси сервер, то он ни куда не идет во внешний мир...
Вот ниже лог, это как я понял при явном указании на прокси сервер....

1276707431.987 276 192.168.10.10 TCP_MISS/200 10412 GET http://www.google.ru/ - DIRECT/74.125.232$
1276707431.987 276 192.168.10.10 TCP_MISS/200 10412 GET http://www.google.ru/ - DIRECT/74.125.232.18 text/html
1276707432.290 289 192.168.10.10 TCP_MISS/200 8035 GET http://www.google.ru/intl/en_com/images/lo$
1276707432.290 289 192.168.10.10 TCP_MISS/200 8035 GET http://www.google.ru/intl/en_com/images/lo$
1276707432.601 610 192.168.10.10 TCP_MISS/200 839 GET http://www.google.ru/tia/tia.png - DIRECT/7$
1276707432.601 610 192.168.10.10 TCP_MISS/200 839 GET http://www.google.ru/tia/tia.png - DIRECT/7$
1276707432.781 142 192.168.10.10 TCP_MISS/200 6109 GET http://www.google.ru/images/nav_logo8.png $
1276707432.781 142 192.168.10.10 TCP_MISS/200 6109 GET http://www.google.ru/images/nav_logo8.png $
1276707433.031 973 192.168.10.10 TCP_MISS/200 52359 GET http://www.google.ru/extern_js/f/CgJydRIC$
1276707433.031 973 192.168.10.10 TCP_MISS/200 52359 GET http://www.google.ru/extern_js/f/CgJydRIC$





Ленивая Бестолочь писал(а):
27.06.2010 16:09
Leo45 писал(а):
26.06.2010 19:37
я смогу показать только в понедельник т.к. на работе стоит компик, а по сквиду что можете сказать?

по сквиду можем сказать "покажи логи сквида" ;-)
конфиг с виду нормальный.
в чем выражается "прозрачность не получается"?
пароль спрашивает или ошибка какая-то?


И то есть я правильно понимаю!? Что нужно копать в сторону Firewall!!!
Спасибо сказали:
Аватара пользователя
Ленивая Бестолочь
Бывший модератор
Сообщения: 2760
ОС: Debian; gentoo

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Ленивая Бестолочь »

Leo45 писал(а):
28.06.2010 06:08
Если явно в браузере не прописать прокси сервер, то он ни куда не идет во внешний мир...

Leo45 писал(а):
28.06.2010 06:08
И то есть я правильно понимаю!? Что нужно копать в сторону Firewall!!!

да, конечно.
ваша настройка прозрачности в конфиге прокси предназначена только для того, чтобы squid не удивлялся, когда юзера будут обращаться к нему, не как к прокси, а как к mail.ru, vkontakte.ru и т.п.
надо их на него ещё "завернуть" файрволом.
Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

Ленивая Бестолочь писал(а):
28.06.2010 10:37
Leo45 писал(а):
28.06.2010 06:08
Если явно в браузере не прописать прокси сервер, то он ни куда не идет во внешний мир...

Leo45 писал(а):
28.06.2010 06:08
И то есть я правильно понимаю!? Что нужно копать в сторону Firewall!!!

да, конечно.
ваша настройка прозрачности в конфиге прокси предназначена только для того, чтобы squid не удивлялся, когда юзера будут обращаться к нему, не как к прокси, а как к mail.ru, vkontakte.ru и т.п.
надо их на него ещё "завернуть" файрволом.



Понятно спасибо за помощь, сейчас попробую завернуть все нужные порты....

И последний вопрос, в сквиде я прописал порты для почты и аськи, но по статьям из инета squid это не умеет!? Их нужно пробрасывать через firewall???
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Проблемы с прозрачностью прокси сервера!

Сообщение arkhnchul »

аську умеет, но непрозрачно.
Losing is fun!
Спасибо сказали:
Аватара пользователя
eddy
Сообщения: 3321
Статус: Красный глаз тролля
ОС: ArchLinux

Re: Проблемы с прозрачностью прокси сервера!

Сообщение eddy »

Мне интересно, как Leo45 собирается давать пользователям доступ к https-соединениям (тому же gmail, к примеру)? Ведь прозрачно проксировать https squid не умеет...
Ну, а если пользователю все равно в настройках придется указывать прокси, какой смысл от "прозрачности"?
RTFM
-------
KOI8-R - патриотичная кодировка Изображение
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

eddy писал(а):
28.06.2010 12:30
Мне интересно, как Leo45 собирается давать пользователям доступ к https-соединениям (тому же gmail, к примеру)? Ведь прозрачно проксировать https squid не умеет...
Ну, а если пользователю все равно в настройках придется указывать прокси, какой смысл от "прозрачности"?


А разве средствами IPtables завернуть нельзя 110 и 25 на 3128?
Спасибо сказали:
Аватара пользователя
DaemonTux
Сообщения: 1480
Статус: Юный падаван
ОС: Gentoo

Re: Проблемы с прозрачностью прокси сервера!

Сообщение DaemonTux »

Leo45 писал(а):
28.06.2010 13:25
eddy писал(а):
28.06.2010 12:30
Мне интересно, как Leo45 собирается давать пользователям доступ к https-соединениям (тому же gmail, к примеру)? Ведь прозрачно проксировать https squid не умеет...
Ну, а если пользователю все равно в настройках придется указывать прокси, какой смысл от "прозрачности"?


А разве средствами IPtables завернуть нельзя 110 и 25 на 3128?

Вы можете туда завернуть хоть все порты. Но squid не умет работать с pop, smtp, imap , etc
Vladivostok Linux User Group
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

DaemonTux писал(а):
28.06.2010 13:41
Leo45 писал(а):
28.06.2010 13:25
eddy писал(а):
28.06.2010 12:30
Мне интересно, как Leo45 собирается давать пользователям доступ к https-соединениям (тому же gmail, к примеру)? Ведь прозрачно проксировать https squid не умеет...
Ну, а если пользователю все равно в настройках придется указывать прокси, какой смысл от "прозрачности"?


А разве средствами IPtables завернуть нельзя 110 и 25 на 3128?

Вы можете туда завернуть хоть все порты. Но squid не умет работать с pop, smtp, imap , etc



Но в данный то момент я в iptables ни чего не запрещал, испытываю пока на виртуальной машинке все порты работают ...
А сквид мне нужен для того что бы проверять входящий трафик антивирем и для отслеживания трафа по ip - адресам... Как сделать последнее с помощью только iptables я не нашел...

iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -d ! 192.168.10.0/24 -p tcp -m tcp --dport 110 -j MASQUERADE - например таким же образом можно завернуть порт pop?
Спасибо сказали:
Аватара пользователя
eddy
Сообщения: 3321
Статус: Красный глаз тролля
ОС: ArchLinux

Re: Проблемы с прозрачностью прокси сервера!

Сообщение eddy »

Leo45 писал(а):
28.06.2010 13:55
и для отслеживания трафа по ip - адресам...

Делайте при помощи iptables, squid не позволяет посчитать трафик. Проверено. У меня самого дома установлен squid (но непрозрачный, т.к. прозрачный не умеет ничего, кроме http). "Скачанных" данных по логам сквида всегда больше, чем объем реально полученной информации, т.к. squid делает запись об объеме скачиваемого файла до того, как файл будет скачан (т.е. если вы отмените загрузку, squid все равно будет считать, что она завершилась). Плюс на некоторые файлы (обычно большого объема) squid генерирует по несколько записей.
И да, с прозрачным прокси я тоже помучился, пытаясь сделать прозрачное проксирование всего трафика. Вывод: это невозможно (что и доказывается на многочисленных форумах и в документации).
RTFM
-------
KOI8-R - патриотичная кодировка Изображение
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

eddy писал(а):
28.06.2010 14:04
Leo45 писал(а):
28.06.2010 13:55
и для отслеживания трафа по ip - адресам...

Делайте при помощи iptables, squid не позволяет посчитать трафик. Проверено. У меня самого дома установлен squid (но непрозрачный, т.к. прозрачный не умеет ничего, кроме http). "Скачанных" данных по логам сквида всегда больше, чем объем реально полученной информации, т.к. squid делает запись об объеме скачиваемого файла до того, как файл будет скачан (т.е. если вы отмените загрузку, squid все равно будет считать, что она завершилась). Плюс на некоторые файлы (обычно большого объема) squid генерирует по несколько записей.
И да, с прозрачным прокси я тоже помучился, пытаясь сделать прозрачное проксирование всего трафика. Вывод: это невозможно (что и доказывается на многочисленных форумах и в документации).



А как на ваш взгляд почему, тогда, многие используют связку: squid+iptables+sams!?
Спасибо сказали:
Аватара пользователя
eddy
Сообщения: 3321
Статус: Красный глаз тролля
ОС: ArchLinux

Re: Проблемы с прозрачностью прокси сервера!

Сообщение eddy »

Leo45 писал(а):
28.06.2010 14:14
А как на ваш взгляд почему, тогда, многие используют связку: squid+iptables+sams!?

Откуда ж я знаю?
Хотя, вполне возможно, что я криво настроил свой squid - и он помещает записи в access.log до окончания передачи файла, а не после.
RTFM
-------
KOI8-R - патриотичная кодировка Изображение
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Проблемы с прозрачностью прокси сервера!

Сообщение arkhnchul »

единственный плюс - кеширование (сквид не полезет в сеть, если у него есть в кеше загружаемый файл) и резалка баннеров/порнухи етц. При этом заворачивается прозрачно только http, остальное пропускается напрямую (аськи и почту кешировать смысла не имеет, а прокси как раз для этого и создаются - отнюдь не для считалки траффика).
Losing is fun!
Спасибо сказали:
Аватара пользователя
eddy
Сообщения: 3321
Статус: Красный глаз тролля
ОС: ArchLinux

Re: Проблемы с прозрачностью прокси сервера!

Сообщение eddy »

arkhnchul писал(а):
28.06.2010 14:29
единственный плюс - кеширование (сквид не полезет в сеть, если у него есть в кеше загружаемый файл) и резалка баннеров/порнухи етц.

Это точно. За счет кэширования у меня месячный объем трафика стал меньше на 10-15%. Плюс резалка bmp, exe и swf помогает (хоть у меня и не установлен flasplayer, работает flashblock, все равно, для надежности еще и проксей режу нехорошие файлы).
RTFM
-------
KOI8-R - патриотичная кодировка Изображение
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

eddy писал(а):
28.06.2010 14:33
arkhnchul писал(а):
28.06.2010 14:29
единственный плюс - кеширование (сквид не полезет в сеть, если у него есть в кеше загружаемый файл) и резалка баннеров/порнухи етц.

Это точно. За счет кэширования у меня месячный объем трафика стал меньше на 10-15%. Плюс резалка bmp, exe и swf помогает (хоть у меня и не установлен flasplayer, работает flashblock, все равно, для надежности еще и проксей режу нехорошие файлы).


Понятно в общем почитав все же решил копать в сторону squid+iptables+sams, на сквиде кеш и ограничения пользователей опять же удобно исполнять, iptables - через него буду пускать почту и прочий трафик с которым squid работать не умеет, а самс поставлю и попробую проверить squid на подсчет трафа, верно или нет!!!


Вот только с iptables пока еще плохо разобрался, может у кого нибудь есть ссылка на статью описывающую работу и правила iptables....!?
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Проблемы с прозрачностью прокси сервера!

Сообщение arkhnchul »

Losing is fun!
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

В общем получилось так что прокси сервер я поднял правда пока без статистики, 2 локальные сети причем одна из них должна иметь доступ к другой а вторая нет и обе сети должны быть в инете... в сквиде я прописал полномочия.... А вот запрет к сети делать через iptables реально!? Если да то каким образом?
Спасибо сказали:
Аватара пользователя
SinClaus
Сообщения: 1952
Статус: Мучитель Мандривы
ОС: Arch,BSD

Re: Проблемы с прозрачностью прокси сервера!

Сообщение SinClaus »

А для ответа на последний вопрос нужно показать конфигурацию сервера и сетей. Или хотя бы описать и показать ifconfig -a с сервера и кто куда подключен.
Спасибо сказали:
Аватара пользователя
arkhnchul
Сообщения: 2284
Статус: Толчковый инженер
ОС: Debian, Fedora

Re: Проблемы с прозрачностью прокси сервера!

Сообщение arkhnchul »

А вот запрет к сети делать через iptables реально!? Если да то каким образом?

телепатия: в цепочке FORWARD таблицы filter запретить пакеты из второй сети в первую (-t filter -A FORWARD -s вторая_сеть -d первая_сеть -j DROP), при этом разрешив уже установленные соединения (-t filter -A FORWARD -m state --state RELATED, ESTABLISHED -j ACCEPT) .
Losing is fun!
Спасибо сказали:
Leo45
Сообщения: 11
ОС: Windows XP Debian Lenny

Re: Проблемы с прозрачностью прокси сервера!

Сообщение Leo45 »

SinClaus писал(а):
30.06.2010 11:40
А для ответа на последний вопрос нужно показать конфигурацию сервера и сетей. Или хотя бы описать и показать ifconfig -a с сервера и кто куда подключен.



Поднимитесь чуть выше по списку ответов там описана начальная ситуация и собственно конфиг...
Спасибо сказали:
Аватара пользователя
SinClaus
Сообщения: 1952
Статус: Мучитель Мандривы
ОС: Arch,BSD

Re: Проблемы с прозрачностью прокси сервера!

Сообщение SinClaus »

Ладно, местные знатоки объяснят :) По поводу видимости сетей и сквида... ;)
Спасибо сказали: