Не открывается часть сайтов при прозрачном проксировании (Не открывается часть сайтов при прозрачном проксировании squid)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

vasilypupkinforever
Сообщения: 17

Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Есть связка RHEL 5.4 + iptables + squid 2.6. Squid поднят как прозрачный прокси. Наблюдаются проблемы - часть сайтов не открывается полностью (как то rambler.ru, www.nasa.gov), часть частично (mail.ru - нет 70 % картинок на сайте), и другая часть сайтов полностью доступна.
Причем сайты резолвятся нормально. При указании в браузере клиентов адреса прокси все грузится отлично. Предпринималось следующее - был включен ICMP+МАСКАРАД в iptables, часть сайтов пингуется, часть нет
Применялось ручное изменение MTU на интерфейсах, применялось правило для MTU в iptables - ничего не помогает


Код: Выделить всё

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.0/8
acl to_localhost dst 127.0.0.0/8
acl kolyan src x.x.x.209/32 # адрес смотрящий во внешнюю сеть, eth1
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl snmppublic snmp_community mocat
http_access allow manager localhost
http_access deny manager
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow to_localhost
http_access allow all
http_access deny all
icp_access allow all
http_port x.x.x.203:3128 transparent # адрес внутреннего интерфейса eth0
hierarchy_stoplist cgi-bin ?
cache_mem 8 MB
maximum_object_size_in_memory 8 KB
cache_dir ufs /squid 204800 32 512
maximum_object_size 4096 KB
access_log /var/log/squid/access.log squid
debug_options ALL,1
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
visible_hostname test
snmp_port 3401
snmp_access allow all
snmp_access deny all
snmp_incoming_address 0.0.0.0
snmp_outgoing_address 255.255.255.255
always_direct allow localhost
always_direct deny all
check_hostnames off
forwarded_for on
coredump_dir /var/spool/squid
dns_nameservers 85.9.129.36


Код: Выделить всё

# Generated by iptables-save v1.3.5 on Wed Apr 20 16:59:35 2011
*filter
:INPUT ACCEPT [301174:254193373]
:FORWARD ACCEPT [124490:50207961]
:OUTPUT ACCEPT [203623:250535465]
-A INPUT -i lo -j ACCEPT
-A FORWARD -p tcp -m tcp --dport 443 -j ACCEPT
COMMIT
# Completed on Wed Apr 20 16:59:35 2011
# Generated by iptables-save v1.3.5 on Wed Apr 20 16:59:35 2011
*nat
:PREROUTING ACCEPT [29366:1815479]
:POSTROUTING ACCEPT [8122:573902]
:OUTPUT ACCEPT [6399:414631]
-A PREROUTING -i eth0 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8080 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8000 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8001 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8081 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8100 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 8101 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 21 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 70 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 210 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 280 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 488 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 591 -j REDIRECT --to-ports 3128
-A PREROUTING -i eth0 -p tcp -m tcp --dport 777 -j REDIRECT --to-ports 3128
COMMIT
# Completed on Wed Apr 20 16:59:35 2011


Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

включаете в proxy-сервере логирование поподробнее.
берёте с частично недогрузившейся страницы адрес назагрузившейся картинки.
и смотрите, что в логе появится при попытке открыть этот адрес в браузере.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

sash-kan писал(а):
27.04.2011 17:48
включаете в proxy-сервере логирование поподробнее.
берёте с частично недогрузившейся страницы адрес назагрузившейся картинки.
и смотрите, что в логе появится при попытке открыть этот адрес в браузере.

Обратите внимание что я включил ICMP - уже на этом уровне идут проблемы - часть сайтов вообще не пингуется, хотя отлично резолвится.
Выборка из access.log при открытии mail.ru - все указанные картинки в этом логе открылись

Код: Выделить всё

1303963901.497 119937 172.22.0.96 TCP_MISS/200 49 CONNECT 78.141.177.111:443 - DIRECT/78.141.177.111 -
1303963929.681    636 172.22.0.96 TCP_MISS/200 27817 GET http://mail.ru/ - DIRECT/94.100.191.203 text/html
1303964098.607    170 172.22.0.96 TCP_MISS/200 574 GET http://www.tns-counter.ru/V13a****mail_ru/ru/CP1251/tmsec=mail_main/ - DIRECT/217.73.200.220 image/gif
1303964098.784    344 172.22.0.96 TCP_REFRESH_MISS/200 4706 GET http://r2.mail.ru/b12921475.jpg - DIRECT/94.100.191.212 image/jpeg
1303964098.841    317 172.22.0.96 TCP_REFRESH_MISS/200 4402 GET http://r2.mail.ru/b11788506.jpg - DIRECT/94.100.191.214 image/jpeg
1303964098.902    294 172.22.0.96 TCP_REFRESH_MISS/200 4074 GET http://r2.mail.ru/b12108615.jpg - DIRECT/94.100.191.212 image/jpeg
1303964098.904    185 172.22.0.96 TCP_REFRESH_HIT/200 4296 GET http://img.mail.ru/mail/ru/images/ru/promo_reg/sprite5.png - DIRECT/94.100.187.35 image/png
1303964098.948    107 172.22.0.96 TCP_MISS/200 4097 GET http://r2.mail.ru/b13070850.jpg - DIRECT/94.100.191.214 image/jpeg
1303964098.982    183 172.22.0.96 TCP_REFRESH_HIT/200 1313 GET http://img.mail.ru/mail/ru/images/ru/promo_reg/bg9.png - DIRECT/94.100.187.35 image/png
1303964099.501    302 172.22.0.96 TCP_MISS/200 544 GET http://top5.mail.ru/counter? - DIRECT/217.69.135.13 image/gif
1303964099.507    227 172.22.0.96 TCP_MISS/200 395 GET http://counter.yadro.ru/hit? - DIRECT/88.212.196.69 image/gif
1303964099.549    112 172.22.0.96 TCP_MISS/200 3254 GET http://r2.mail.ru/b13070881.jpg - DIRECT/94.100.191.214 image/jpeg
1303964099.563    174 172.22.0.96 TCP_MISS/200 359 GET http://counter.rambler.ru/top100.cnt? - DIRECT/81.19.66.35 image/gif
1303964099.686    122 172.22.0.96 TCP_MISS/200 361 GET http://r2.mail.ru/d397437.gif? - DIRECT/94.100.191.214 image/gif
1303964099.695    188 172.22.0.96 TCP_MISS/200 4072 GET http://r2.mail.ru/b13069917.jpg - DIRECT/94.100.191.212 image/jpeg
1303964099.765     86 172.22.0.96 TCP_MISS/200 361 GET http://r2.mail.ru/d397435.gif? - DIRECT/94.100.191.212 image/gif
1303964099.913    217 172.22.0.96 TCP_MISS/200 386 GET http://r3.mail.ru/k - DIRECT/94.100.179.89 image/gif
1303964100.106    126 172.22.0.96 TCP_MISS/200 361 GET http://r2.mail.ru/d418685.gif? - DIRECT/94.100.191.212 image/gif
1303964100.154    176 172.22.0.96 TCP_REFRESH_MISS/200 4058 GET http://r2.mail.ru/b9101403.jpg - DIRECT/94.100.191.212 image/jpeg
1303964100.156    243 172.22.0.96 TCP_MISS/304 285 GET http://rs.mail.ru/un? - DIRECT/94.100.187.197 -
1303964100.156    178 172.22.0.96 TCP_MISS/200 361 GET http://rs.mail.ru/d428625.gif? - DIRECT/94.100.187.197 image/gif
1303964100.210     91 172.22.0.96 TCP_MISS/200 2713 GET http://r2.mail.ru/b12530927.jpg - DIRECT/94.100.191.212 image/jpeg
1303964100.338    318 172.22.0.96 TCP_MISS/200 13934 GET http://r2.mail.ru/b13027379.gif - DIRECT/94.100.191.214 image/gif
1303964100.339      0 172.22.0.96 TCP_MEM_HIT/200 2876 GET http://r2.mail.ru/b12528255.jpg - NONE/- image/jpeg
1303964100.348    113 172.22.0.96 TCP_MISS/200 2824 GET http://r2.mail.ru/b12528258.jpg - DIRECT/94.100.191.212 image/jpeg
1303964100.519     32 172.22.0.96 TCP_MEM_HIT/200 3028 GET http://r2.mail.ru/b12964125.jpg - NONE/- image/jpeg
1303964100.579     26 172.22.0.96 TCP_MEM_HIT/200 3645 GET http://r2.mail.ru/b12964126.jpg - NONE/- image/jpeg
1303964100.679     80 172.22.0.96 TCP_MEM_HIT/200 2823 GET http://r2.mail.ru/b12964127.jpg - NONE/- image/jpeg
1303964100.865    516 172.22.0.96 TCP_REFRESH_MISS/200 3246 GET http://r2.mail.ru/b12751860.gif - DIRECT/94.100.191.212 image/gif
1303964101.025    161 172.22.0.96 TCP_MISS/200 361 GET http://r2.mail.ru/d227295.gif? - DIRECT/94.100.191.212 image/gif

не открывается файл GET http://limg.imgsmail.ru/mail/ru/images/logon.gif. сделал выборку cat /var/log/squid/* | grep logon.gif

Код: Выделить всё

1303817718.420    548 172.22.0.96 TCP_MISS/200 2612 GET http://limg.imgsmail.ru/mail/ru/images/logon.gif - DIRECT/94.100.191.213 image/gif
1303817718.395 SWAPOUT 00 00001375 DECED390732109BBDE160B173C64D3B3  200 1303817669 1291915378 1304422469 image/gif 2191/2191 GET http://limg.imgsmail.ru/mail/ru/images/logon.gif


Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Это лог iptables при открытии mail.ru и rambler.ru, который потом редиректнулся на bing (который открылся)

Код: Выделить всё

Apr 28 11:06:07 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=94.100.191.203 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=8851 DF PROTO=TCP SPT=1527 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:06:27 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=89.108.72.205 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=8901 DF PROTO=TCP SPT=1531 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:08:56 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=217.73.200.221 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=8979 DF PROTO=TCP SPT=1547 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:17 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.144 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9001 DF PROTO=TCP SPT=1550 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:21 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9014 DF PROTO=TCP SPT=1553 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:22 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9025 DF PROTO=TCP SPT=1554 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:23 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9050 DF PROTO=TCP SPT=1555 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:23 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.144 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9053 DF PROTO=TCP SPT=1556 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:23 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.144 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9058 DF PROTO=TCP SPT=1557 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:24 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9086 DF PROTO=TCP SPT=1558 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:24 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=157.55.40.126 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9095 DF PROTO=TCP SPT=1559 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:25 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9110 DF PROTO=TCP SPT=1560 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:25 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=195.27.183.193 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9130 DF PROTO=TCP SPT=1562 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Apr 28 11:09:26 tjk-squid001 kernel: New onnection: IN=eth0 OUT= MAC=68:b5:99:b7:94:04:28:6e:d4:be:12:0c:08:00 SRC=172.22.0.96 DST=69.171.224.13 LEN=48 TOS=0x00 PREC=0x00 TTL=127 ID=9153 DF PROTO=TCP SPT=1563 DPT=80 WINDOW=16384 RES=0x00 SYN URGP=0
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
28.04.2011 08:31
я включил ICMP - уже на этом уровне идут проблемы
это не имеет отношения к proxy-серверу.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

sash-kan писал(а):
28.04.2011 11:11
vasilypupkinfore... писал(а):
28.04.2011 08:31
я включил ICMP - уже на этом уровне идут проблемы
это не имеет отношения к proxy-серверу.

Отлично, отметаем прокси сервер - значит со сквидом все в порядке, тем более что явно указав порт и адрес в браузере - все сайты открываются, остается iptables и проблемы совместимости iptables с передачей данных. MTU уже корректировал iptables -t mangle -A OUTPUT -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu - не помогло, менял до значения 500 на обоих интерфейсах сервера - не помогло. Какие еще варианты есть?
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore...
вы как-то определитесь, с чем именно разбираетесь.
хотя бы в глобальном плане:
с icmp-пакетами, которые проходят, будучи отправленными со шлюза, но не проходят, будучи отправленными с клиента.
или с nat-ом, в частности, обращением к веб-серверам в обход proxy-сервера.
или с proxy-сервером непосредственно.

эти направления весьма мало связаны друг с другом.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

ICMP я стал использовать как вторичный инструмент - с шлюза до сайтов пинг идет отличный, с клиентов до шлюза - супер, с клиентов до сайтов отвратный - часть сайтов не пингуется совсем. И как раз именно те сайты что и не открываются через squid. А значит проблема в том, что связывает и http и icmp. Выкладываю актуальные конфиги.

Код: Выделить всё

# service iptables status
Table: mangle
Chain PREROUTING (policy ACCEPT)
num target prot opt source destination

Chain INPUT (policy ACCEPT)
num target prot opt source destination

Chain FORWARD (policy ACCEPT)
num target prot opt source destination

Chain OUTPUT (policy ACCEPT)
num target prot opt source destination

Chain POSTROUTING (policy ACCEPT)
num target prot opt source destination
1 TTL all -- 0.0.0.0/0 0.0.0.0/0 TTL set to 128

Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0

Chain OUTPUT (policy ACCEPT)
num target prot opt source destination

Table: nat
Chain PREROUTING (policy ACCEPT)
num target prot opt source destination
1 LOG tcp -- 172.22.0.0/24 0.0.0.0/0 tcp spts:1024:65535 dpt:80 LOG flags 4 level 6 prefix `New onnection: '
2 REDIRECT tcp -- 172.22.0.0/24 0.0.0.0/0 tcp spts:1024:65535 dpt:80 redir ports 3128
3 LOG tcp -- 172.22.0.0/24 0.0.0.0/0 tcp spts:1024:65535 dpt:443 LOG flags 4 level 6 prefix `New connection: '
4 REDIRECT tcp -- 172.22.0.0/24 0.0.0.0/0 tcp spts:1024:65535 dpt:443 redir ports 3129
5 REDIRECT tcp -- 172.22.0.0/24 0.0.0.0/0 tcp spts:1024:65535 dpt:8080 redir ports 3128

Chain POSTROUTING (policy ACCEPT)
num target prot opt source destination
1 MASQUERADE all -- 172.22.0.0/24 0.0.0.0/0
2 SNAT icmp -- 172.22.0.0/24 0.0.0.0/0 to:172.28.228.203

Chain OUTPUT (policy ACCEPT)
num target prot opt source destination

Код: Выделить всё

# cat /etc/squid/squid.conf
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
#acl to_localhost dst 127.0.0.0/8
#acl kolyan src 172.28.228.209/32
acl allowed_hosts src 172.22.0.0/255.255.255.0
#acl all src 172.0.0.0/24
acl icq_ports port 443 563 5190
acl open_ports port 80 8080 8000 443
acl open_ports port 21
#acl SSL_ports port 443
#acl Safe_ports port 80 # http
#acl Safe_ports port 21 # ftp
#acl Safe_ports port 443 # https
#acl Safe_ports port 70 # gopher
#acl Safe_ports port 210 # wais
#acl Safe_ports port 1025-65535 # unregistered ports
#acl Safe_ports port 280 # http-mgmt
#acl Safe_ports port 488 # gss-http
#acl Safe_ports port 591 # filemaker
#acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl snmppublic snmp_community mocat
http_access allow localhost
http_access allow allowed_hosts
http_access allow icq_ports
http_access allow open_ports
#http_access allow to_localhost
#http_access allow all
http_access deny all
icp_access deny all
icp_port 0
http_port 172.28.228.203:3128 transparent
https_port 172.28.228.203:3129 transparent key=/etc/squid/ssl/squid.key cert=/etc/squid/ssl/squid.pem
hierarchy_stoplist cgi-bin ?
cache_mem 512 MB
maximum_object_size_in_memory 8 KB
cache_dir ufs /squid 204800 32 256
maximum_object_size 8192 KB
minimum_object_size 1 KB
ipcache_size 8192
cache_replacement_policy heap LFUDA
memory_replacement_policy heap LFUDA
access_log /var/log/squid/access.log squid
cache_effective_user squid
cache_effective_group squid
debug_options ALL,1
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
visible_hostname tjk-squid001
negative_ttl 1 minutes
read_timeout 5 minutes
request_timeout 60 seconds
client_lifetime 8 hour
half_closed_clients off
shutdown_lifetime 3 seconds
snmp_port 3401
snmp_access allow all
snmp_access deny all
snmp_incoming_address 0.0.0.0
snmp_outgoing_address 255.255.255.255
always_direct allow localhost
always_direct deny all
check_hostnames off
forwarded_for on
coredump_dir /var/spool/squid
dns_nameservers 85.9.129.36
#refresh_pattern ^http: 0 100% 1440 override-expire override-lastmod
#reload-into-ims
#ignore-reload ignore-no-cache ignore-no-store ignore-must-revalidate
#ignore-private
#ignore-auth refresh-ims
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
28.04.2011 13:09
с шлюза до сайтов пинг идет отличный, с клиентов до шлюза - супер, с клиентов до сайтов отвратный - часть сайтов не пингуется совсем
вот и решайте эту проблему.
tshark вам в помощь.
смотрите, сравнивайте, делайте выводы.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

sash-kan писал(а):
28.04.2011 14:56
vasilypupkinfore... писал(а):
28.04.2011 13:09
с шлюза до сайтов пинг идет отличный, с клиентов до шлюза - супер, с клиентов до сайтов отвратный - часть сайтов не пингуется совсем
вот и решайте эту проблему.
tshark вам в помощь.
смотрите, сравнивайте, делайте выводы.

Увы, 30 дневная подписка на обновление REDHAT у меня уже закончилась, так что установка новых пакетов не возможна. Есть ли путь обнаружения проблемы стандартными средствами, например tcpdump. Он может помочь?
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
29.04.2011 10:57
Увы, 30 дневная подписка на обновление REDHAT у меня уже закончилась, так что установка новых пакетов не возможна.
это такая шутка юмора?

vasilypupkinfore... писал(а):
29.04.2011 10:57
стандартными средствами, например tcpdump
как говорится, найдите пять отличий.
конечно, отличия есть, но для вашей задачи абсолютно несущественные.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
Kettler
Сообщения: 7

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение Kettler »

добавьте правило в iptables
iptables -I FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Kettler писал(а):
01.05.2011 10:53
добавьте правило в iptables
iptables -I FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

В начале поста уже говорил что игрался с этими настройками - результата не дало. Что могу сказать на данный момент - отключил IPTABLES, отключил SQUID, по идее благодаря включенному системному forward нет на компы должен пойти нефильрованно и свободно, но нет, ситуация не изменилась. Снова часть сайтов пингуется, другая нет, а также и часть сайтов не открывается совсем, хотя резолвится все замечательно
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

так. давайте хоть с чем-то разберёмся. не сваливая в одну кучу.
предлагаю с icmp-пакетов начать.
очистили вы правил netfilter-а.
соответственно, нет подмены адреса отправителя в исходящих из шлюза пакетах.
проверьте это tshark-ом/tcpdump-ом.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

sash-kan писал(а):
03.05.2011 14:33
так. давайте хоть с чем-то разберёмся. не сваливая в одну кучу.
предлагаю с icmp-пакетов начать.
очистили вы правил netfilter-а.
соответственно, нет подмены адреса отправителя в исходящих из шлюза пакетах.
проверьте это tshark-ом/tcpdump-ом.

попробовал поочередно пропинговать fishki.net, gmail.com, ya.ru. Пинг прошел только на gmail.com, но позже и на fishki.net (то есть, то нет) - этого момента уже в логе нет. TCPDUMP следил за внешним интерфейсом
Привожу не весь лог, а выборку. Адрес клиента с которого провожу пинг 172.22.0.32

Код: Выделить всё

08:47:52.945984 IP 172.22.0.32.56063 > dns1.beeline.tj.domain:  22142+
A? fishki.net. (28)
08:47:53.213711 IP dns1.beeline.tj.domain > 172.22.0.32.56063:  22142
3/0/0 A fishki.net,[|domain]
08:48:10.166596 IP 172.22.0.32.59301 > dns1.beeline.tj.domain:  20255+
A? gmail.com. (27)
08:48:10.321575 IP dns1.beeline.tj.domain > 172.22.0.32.59301:
20255*- 4/0/0 A 74.125.233.22,[|domain]
08:48:10.321697 IP tjk-squid001.49420 > dns1.beeline.tj.domain:
17346+ PTR? 22.233.125.74.in-addr.arpa. (44)
08:48:10.323453 IP dns1.beeline.tj.domain > tjk-squid001.49420:  17346
NXDomain 0/0/0 (44)
08:48:10.426708 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 1792, length 40
08:48:10.719044 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 1792, length 40
08:48:11.426273 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2048, length 40
08:48:11.718676 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2048, length 40
08:48:12.426797 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2304, length 40
08:48:12.718901 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2304, length 40
08:48:13.426875 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2560, length 40
08:48:13.720925 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2560, length 40
08:48:20.166497 IP 172.22.0.32.53483 > dns1.beeline.tj.domain:  49511+
A? ya.ru. (23)
08:48:20.167705 IP dns1.beeline.tj.domain > 172.22.0.32.53483:  49511
7/0/0 A www.yandex.ru, A[|domain]
08:48:20.167909 IP tjk-squid001.58369 > dns1.beeline.tj.domain:
56579+ PTR? 3.250.250.87.in-addr.arpa. (43)


Как видите подмены адресов нет
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Подумал что полный лог все такие пригодится
Spoiler
08:47:52.945984 IP 172.22.0.32.56063 > dns1.beeline.tj.domain: 22142+
A? fishki.net. (28)
08:47:53.213711 IP dns1.beeline.tj.domain > 172.22.0.32.56063: 22142
3/0/0 A fishki.net,[|domain]
08:47:53.213873 IP tjk-squid001.35228 > dns1.beeline.tj.domain:
10872+ PTR? 71.88.186.194.in-addr.arpa. (44)
08:47:53.215469 IP dns1.beeline.tj.domain > tjk-squid001.35228: 10872
1/0/0 (68)
08:47:53.834708 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:54.320272 00:0f:e2:1c:81:60 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e21c 8160 0000 000c 0000 0000 0044 .....`.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 9999 9999 wwww..........
08:47:54.739518 00:0f:e2:19:70:30 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e219 7030 0000 0000 0000 0000 0044 ....p0.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 aaaa aaaa wwww..........
08:47:54.830867 00:0f:e2:19:70:30 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e219 7030 0000 0001 0000 0000 0044 ....p0.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 aaaa aaaa wwww..........
08:47:54.835539 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:55.834713 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:56.834937 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:57.834713 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:58.835026 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:47:59.836696 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:00.835080 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:01.834714 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:02.158717 00:e0:fc:09:bc:f9 (oui Unknown) > 01:80:c2:00:00:0a
(oui Unknown), ethertype Unknown (0x88a7), length 134:
0x0000: 0003 0000 01b4 2e3c 0001 000e 0000 0000 .......<........
0x0010: 000f e21c 8160 0007 0012 5175 6964 7761 .....`....Quidwa
0x0020: 7920 5333 3532 3847 000e 0008 3030 3230 y.S3528G....0020
0x0030: 0011 0017 5631 3030 5230 3031 4231 3244 ....V100R001B12D
0x0040: 3031 3053 5030 3100 1000 0732 3030 000c 010SP01....200..
0x0050: 0014 ..
08:48:02.835155 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:03.834772 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:04.835507 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:05.834712 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:06.835069 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:07.834776 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:08.835094 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:09.836881 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:10.166596 IP 172.22.0.32.59301 > dns1.beeline.tj.domain: 20255+
A? gmail.com. (27)
08:48:10.321575 IP dns1.beeline.tj.domain > 172.22.0.32.59301:
20255*- 4/0/0 A 74.125.233.22,[|domain]
08:48:10.321697 IP tjk-squid001.49420 > dns1.beeline.tj.domain:
17346+ PTR? 22.233.125.74.in-addr.arpa. (44)
08:48:10.323453 IP dns1.beeline.tj.domain > tjk-squid001.49420: 17346
NXDomain 0/0/0 (44)
08:48:10.426708 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 1792, length 40
08:48:10.719044 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 1792, length 40
08:48:10.835106 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:11.426273 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2048, length 40
08:48:11.718676 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2048, length 40
08:48:11.834812 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:12.426797 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2304, length 40
08:48:12.718901 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2304, length 40
08:48:12.835119 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:13.426875 IP 172.22.0.32 > 74.125.233.22: ICMP echo request, id
768, seq 2560, length 40
08:48:13.720925 IP 74.125.233.22 > 172.22.0.32: ICMP echo reply, id
768, seq 2560, length 40
08:48:13.834818 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:14.835679 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:15.165711 arp who-has 172.28.228.213 tell tjk-squid001
08:48:15.166039 arp reply 172.28.228.213 is-at 00:00:5e:00:01:23 (oui Unknown)
08:48:15.834829 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:16.835159 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:17.834829 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:18.835200 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:19.836758 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:20.166497 IP 172.22.0.32.53483 > dns1.beeline.tj.domain: 49511+
A? ya.ru. (23)
08:48:20.167705 IP dns1.beeline.tj.domain > 172.22.0.32.53483: 49511
7/0/0 A www.yandex.ru, A[|domain]
08:48:20.167909 IP tjk-squid001.58369 > dns1.beeline.tj.domain:
56579+ PTR? 3.250.250.87.in-addr.arpa. (43)
08:48:20.169244 IP dns1.beeline.tj.domain > tjk-squid001.58369: 56579
1/0/0 (70)
08:48:20.835143 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:21.834997 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:22.835225 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:23.834880 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:24.835714 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:25.834916 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:26.351257 00:0f:e2:1c:81:60 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e21c 8160 0000 000c 0000 0000 0044 .....`.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 9999 9999 wwww..........
08:48:26.769736 00:0f:e2:19:70:30 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e219 7030 0000 0000 0000 0000 0044 ....p0.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 aaaa aaaa wwww..........
08:48:26.835242 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:26.860692 00:0f:e2:19:70:30 (oui Unknown) > Broadcast, ethertype
Unknown (0x9001), length 60:
0x0000: 000f e219 7030 0000 0001 0000 0000 0044 ....p0.........D
0x0010: 4444 5555 5555 007b 6666 6666 6666 7777 DDUUUU.{ffffffww
0x0020: 7777 7777 8888 8888 8888 aaaa aaaa wwww..........
08:48:27.834923 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:28.834905 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:29.837234 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:30.834951 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:31.835131 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:32.834937 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
08:48:33.835246 IP 172.28.228.212 > vrrp.mcast.net: VRRPv2,
Advertisement, vrid 35, prio 100, authtype none, intvl 1s, length 20
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
04.05.2011 08:05
Как видите подмены адресов нет
откуда ж я знаю, где у вас какие адреса прописаны?
вот, например, адрес 172.22.0.32 — какому интерфейсу принадлежит? внутреннему?

vasilypupkinfore... писал(а):
04.05.2011 08:05
но позже и на fishki.net
вижу, что dns-сервер, к которому вы обращаетесь (фигурирует в логе как dns1.beeline.tj) не возвращает a-запись для домена fishki.net

начинаю подозревать, что под термином «пинги не идут», как обычно, смешаны и не разделены две различнейшие проблемы:
1. не резолвится имя (насколько вижу, с fishki.net так и происходит)
2. нет корректных icmp-ответов

может, действительно, проблема с этим провайдерским резолвером?
попробуйте вернуть всё обратно и заменить провайдерский dns на что-нибудь заведомо рабочее (например, гугловский резолвер 8.8.8.8).
(используемые системой dns-серверы записаны в /etc/resolv.conf)
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Имена как раз резолвятся - это видно по следующему куску лога
08:47:52.945984 IP 172.22.0.32.56063 > dns1.beeline.tj.domain: 22142+
A? fishki.net. (28)
08:47:53.213711 IP dns1.beeline.tj.domain > 172.22.0.32.56063: 22142
3/0/0 A fishki.net,[|domain]
08:47:53.213873 IP tjk-squid001.35228 > dns1.beeline.tj.domain:
10872+ PTR? 71.88.186.194.in-addr.arpa. (44)
08:47:53.215469 IP dns1.beeline.tj.domain > tjk-squid001.35228: 10872
1/0/0 (68)
и к тому что на nslookup fishki.net получаю нормальный ответ
а адрес 172.22.0.32 - это клиентская машина в сети
Тем не менее - решил переустановить ось
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

vasilypupkinfore... писал(а):
29.04.2011 10:57
Увы, 30 дневная подписка на обновление REDHAT у меня уже закончилась, так что установка новых пакетов не возможна.
это такая шутка юмора?

Red hat Enterprise Linux is a commercial subscription based product. During installation you need to supply a 16-character long string or serial number. Without this number you will not able to install:
=> Packages
=> Updates
=> Security patch
=> Additional applications
=> Support etc
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Переустановил ось - не устанавливая iptables, squid включил системный форвардинг - и опять та же картина. ICMP - gmail.com пингуется, mail.ru нет
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

а подмену адреса кто будет делать? хорошо, что провайдер из-за какой-то внутренней ошибки иногда исправляет эту вашу оплошность. но нельзя же рассчитывать на ошибочное поведение бесконечно.

vasilypupkinfore... писал(а):
04.05.2011 16:49
Переустановил ось - и опять та же картина
в общем-то, никто и не сомневался. по крайней мере я. но и отговаривать не стал. один раз каждый новоиспечённый пользователь gnu таки должен убедиться, что это не windows. на собственном опыте.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Коллега,
1) С чего вы взяли что я недавний "новоиспечённый пользователь gnu"? У меня достаточный опыт в других *nix OS, а прокси сервер я настраиваю впервые. Вы настраивали контейнеры под Solaris OS? думаю достаточно процентов, что нет, но они не дают мне права называть вас "новоиспечённый пользователь gnu".
2) Вы мне советуете сделать то то и то то. Вы смотрите те логи, что я показываю вам после ваших советов? Подмена адресов маскардингом у меня была включена еще на старой оси, смотрите выкладку правил iptables - никакого существенного эффекта это не дало.
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
04.05.2011 21:03
С чего вы взяли что я недавний "новоиспечённый пользователь gnu"? У меня достаточный опыт в других *nix OS, а прокси сервер я настраиваю впервые. Вы настраивали контейнеры под Solaris OS? думаю достаточно процентов, что нет, но они не дают мне права называть вас "новоиспечённый пользователь gnu".
ладно-ладно, не надо обижаться. все пользователи проприетарных программ и операционных систем знают и активно применяют правило: «если ничего не помогает, переустанови программу/систему». в случае свободных программ это золотое правило помогает _значительно_ реже. (мне лично — ни разу).

vasilypupkinfore... писал(а):
04.05.2011 21:03
Вы мне советуете сделать то то и то то. Вы смотрите те логи, что я показываю вам после ваших советов?
ок. как я понимаю, картина такова:
подмену адреса вы в netfilter добавили. других правил в netfilter нет.
форвардинг включен (в /proc/sys/net/ipv4/ip_forward)
со шлюза всё пингуется.
от клиентов часть адресов либо не пингуется, либо пингуется неустойчиво.
я верно понимаю?

тогда бы порекомендовал ещё выставлять насильно одно и то же значение ttl у исходящих пакетов. (google://iptables ttl)
и смотреть tshark-ом/tcpdump-ом, нет ли других различий между icmp-пакетами, генерируемыми шлюзом и клиентами.

vasilypupkinforever писал(а):
04.05.2011 13:44
vasilypupkinfore... писал(а):
29.04.2011 10:57
QUOTE писал(а):Увы, 30 дневная подписка на обновление REDHAT у меня уже закончилась, так что установка новых пакетов не возможна.
это такая шутка юмора?


Red hat Enterprise Linux is a commercial subscription based product. During installation you need to supply a 16-character long string or serial number. Without this number you will not able to install:
=> Packages
=> Updates
=> Security patch
=> Additional applications
=> Support etc
неужели rpm -i перестаёт работать?
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

Понимаете верно.
Теперь по очереди
1) Увеличил TTL до 255+маскардинг = пинг с клиентского компа всех сайтов идет, включая злосчастный mail.ru. Ура!
2) Продолжая радоваться, запустил в браузере клиента загрузку mail.ru - проблема осталась, сайт не догружается до конца( Смотрю пинг mail.ru - пропал(
3) Закрыл браузер, подождал полчаса - час. Пинг снова появился
4) Установил tshark. Его лог

Слушаю внутренний интерфейс. Gmail пингуется, mail.ru нет
Spoiler
0.000000 172.22.0.96 -> 85.9.129.38 DNS Standard query A gmail.com
0.000005 172.22.0.96 -> 85.9.129.36 DNS Standard query A gmail.com
0.146684 85.9.129.36 -> 172.22.0.96 DNS Standard query response A 74.125.233.22 A 74.125.233.21 A 74.125.233.24 A 74.125.233.23
0.156908 85.9.129.38 -> 172.22.0.96 DNS Standard query response A 74.125.233.22 A 74.125.233.24 A 74.125.233.23 A 74.125.233.21
0.217599 172.22.0.96 -> 74.125.233.22 ICMP Echo (ping) request
0.236980 172.22.0.96 -> 85.9.129.38 ICMP Destination unreachable (Port unreachable)
0.523805 74.125.233.22 -> 172.22.0.96 ICMP Echo (ping) reply
1.217792 172.22.0.96 -> 74.125.233.22 ICMP Echo (ping) request
1.523992 74.125.233.22 -> 172.22.0.96 ICMP Echo (ping) reply
2.217693 172.22.0.96 -> 74.125.233.22 ICMP Echo (ping) request
2.524105 74.125.233.22 -> 172.22.0.96 ICMP Echo (ping) reply
3.217055 172.22.0.96 -> 74.125.233.22 ICMP Echo (ping) request
3.522696 74.125.233.22 -> 172.22.0.96 ICMP Echo (ping) reply
5.146681 68:b5:99:b7:94:04 -> 28:6e:d4:be:12:0c ARP Who has 172.28.228.201? Tell 172.28.228.203
5.147521 28:6e:d4:be:12:0c -> 68:b5:99:b7:94:04 ARP 172.28.228.201 is at 28:6e:d4:be:12:0c
14.736038 172.22.0.96 -> 85.9.129.36 DNS Standard query A mail.ru
14.849237 85.9.129.36 -> 172.22.0.96 DNS Standard query response A 94.100.191.202 A 94.100.191.203 A 94.100.191.204 A 94.100.191.201




Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

В принципе можно сказать что ICMP работает. Какие дальнейшие шаги будем предпринимать?
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
05.05.2011 11:22
0.236980 172.22.0.96 -> 85.9.129.38 ICMP Destination unreachable (Port unreachable)
что бы это значило? выглядит как совершенно ненормальное явление.
это внутри вашей сети происходило или снаружи?
172.22.0.96 — какому интерфейсу (внутреннему/внешнему) у какой машины (шлюз/клиент) присвоен этот адрес?
85.9.129.38 — это адрес одного из используемых вами dns-серверов?

если подобная картина продолжает у вас наблюдаться, надо с этим разбираться.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

172.22.0.96 — IP адрес клиентской машины обращающейся по внутреннему интерфейсу к серверу
85.9.129.38 — ага, днс

Картина с ICMP Destination unreachable (Port unreachable) повторяется, причем как сайтов которые открываются, так и нет. поищу в гугле с чем это возможно связано.
Возможно это потому, что у меня 3G модем, первый ICMP запрос долго идет
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение sash-kan »

vasilypupkinfore... писал(а):
05.05.2011 16:24
первый ICMP запрос долго идет
судя по окружающим пакетам, dest. unreach. выдаётся в ответ на ответ dns-сервера. и судя по меткам времени, этот icmp-отлуп посылается всего лишь через 0.2 секунды после отправки изначального dns-запроса.
кстати, а почему запросов два подряд от одного и того же хоста? и выданы без всякой паузы между ними:
vasilypupkinfore... писал(а):
05.05.2011 11:22
0.000000 172.22.0.96 -> 85.9.129.38 DNS Standard query A gmail.com
0.000005 172.22.0.96 -> 85.9.129.36 DNS Standard query A gmail.com
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
vasilypupkinforever
Сообщения: 17

Re: Не открывается часть сайтов при прозрачном проксировании

Сообщение vasilypupkinforever »

сделал следущее tcpdump -i eth0 входящего интерфейса. Стал пинговать rambler.ru - днс запрос есть, пинга нет. значит ICMP в этом случае вообще не приходят даже на входящий интерфейс сервера. Взял это пункт в качестве доказательства проблем на стороне сетевиков и их маршрутизации и загрузил их. В итоге выяснилось: у меня два сервера в качестве шлюза, занимался я первым, на второй бы позже просто перекинул бы конфиги и подправил где надо. На эти два сервера был настроен какой то балансировщик типа актив/стендбай, и вот он и резал мои пакеты - слал их на второй сервер. Подкорректировали его и все пошло как надо - траффик идет.

Теперь задача в следующем - наладить между серверами обмен данными о кэше. чтобы на случай если мне придется гасить один из серверов - на втором уже был точно такой же кэш. Сейчас на серверах одинаковые настройки iptables и squid
Спасибо сказали: