Squid некорректные логи https (Squid некорректные логи https)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

vang95
Сообщения: 4

Squid некорректные логи https

Сообщение vang95 »

Коллеги, доброго времени суток.

У меня проблема с проксированием трафика в Squid в режиме прозрачном режиме с bump ssl.
Есть сервер CentOs с двумя сетевухами (internal LAN 192.168.2.1/23, external LAN 192.168.0.11/25), развернут NAТ.

Версия CentOS
centos-release-7-6.1810.2.el7.centos.x86_64

Установлен squid

Shell

[root@SR-GATE]# squid -v
Squid Cache: Version 3.5.8
Service Name: squid
configure options: '--build=x86_64-redhat-linux-gnu' '--host=x86_64-redhat-linux-gnu' '--program-prefix=' '--prefix=/usr' '--exec-prefix=/usr' '--bindir=/usr/bin' '--sbindir=/usr/sbin' '--sysconfdir=/etc' '--datadir=/usr/share' '--includedir=/usr/include' '--libdir=/usr/lib64' '--libexecdir=/usr/libexec' '--sharedstatedir=/var/lib' '--mandir=/usr/share/man' '--infodir=/usr/share/info' '--exec_prefix=/usr' '--libexecdir=/usr/lib64/squid' '--localstatedir=/var' '--datadir=/usr/share/squid' '--sysconfdir=/etc/squid' '--with-logdir=$(localstatedir)/log/squid' '--with-pidfile=$(localstatedir)/run/squid.pid' '--disable-dependency-tracking' '--enable-follow-x-forwarded-for' '--enable-auth' '--enable-auth-basic=DB,LDAP,NCSA,NIS,PAM,POP3,RADIUS,SASL,SMB,getpwnam' '--enable-auth-ntlm=smb_lm,fake' '--enable-auth-digest=file,LDAP,eDirectory' '--enable-auth-negotiate=kerberos,wrapper' '--enable-external-acl-helpers=wbinfo_group,kerberos_ldap_group' '--enable-cache-digests' '--enable-cachemgr-hostname=localhost' '--enable-delay-pools' '--enable-epoll' '--enable-icap-client' '--enable-ident-lookups' '--enable-linux-netfilter' '--enable-removal-policies=heap,lru' '--enable-snmp' '--enable-storeio=aufs,diskd,ufs,rock' '--enable-wccpv2' '--enable-esi' '--enable-ssl-crtd' '--enable-icmp' '--with-aio' '--with-default-user=squid' '--with-filedescriptors=16384' '--with-dl' '--with-openssl' '--with-pthreads' '--with-included-ltdl' '--disable-arch-native' '--enable-ecap' '--without-nettle' 'build_alias=x86_64-redhat-linux-gnu' 'host_alias=x86_64-redhat-linux-gnu' 'CFLAGS=-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic' 'LDFLAGS=-Wl,-z,relro ' 'CXXFLAGS=-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' 'PKG_CONFIG_PATH=%{_PKG_CONFIG_PATH}:/usr/lib64/pkgconfig:/usr/share/pkgconfig' --enable-ltdl-convenience
Установлен openssl

Shell

[root@SR-GATE]# openssl version
OpenSSL 1.0.2k-fips 26 Jan 2017

Squid.conf
acl localnet src 192.168.2.0/23
acl localnet src fc00::/7 # RFC 4193 local private network range
acl localnet src fe80::/10 # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

#
# Recommended minimum Access Permission configuration:
#
# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

#Enable quick shutdown
shutdown_lifetime 0 seconds

#Enable transparent proxy with SSL bump
http_port 3126 intercept
https_port 3127 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=16MB cert=/etc/squid/ssl_cert/myCA.pem options=NO_SSLv3
http_port 3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=16MB cert=/etc/squid/ssl_cert/myCA.pem

#Configure SSL Bump for all sites
acl broken_sites dstdom_regex xyzbank.com
acl monitor_domains dstdom_regex youtube.com facebook.com ytimg.com googlevideo.com ggpht.com
acl monitor_domains2 dst 216.58.196.110 216.58.199.174 #youtube connect works over IP
ssl_bump none localhost
ssl_bump none broken_sites #Avoid bumping financial sites such as banks
ssl_bump server-first monitor_domains #Bump facebook and youtube
ssl_bump server-first monitor_domains2 #Since youtube bump fails with just domain also add youtube serverIP

#Configure hostname
visible_hostname sr-gate.home.local

#Configure logging of query terms
strip_query_terms off #This will allow checking which youtube URLs were visited by user

# And finally deny all other access to this proxy
http_access deny all
Проксирование http проходит без проблем, но с https происходят проблемы, вместо урлов видны лишь ip.

Shell

cat /var/loc/squid/access.log
1561658347.443 504 192.168.2.2 TCP_TUNNEL/200 6259 CONNECT 82.202.210.210:443 - ORIGINAL_DST/82.202.210.210 -
1561658437.474 521 192.168.2.2 TCP_TUNNEL/200 6261 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561658527.531 634 192.168.2.2 TCP_TUNNEL/200 6261 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561658617.628 715 192.168.2.2 TCP_TUNNEL/200 6259 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561658707.673 657 192.168.2.2 TCP_TUNNEL/200 6262 CONNECT 95.213.134.167:443 - ORIGINAL_DST/95.213.134.167 -
1561658757.692 2550 192.168.2.2 TCP_TUNNEL/200 4483 CONNECT 173.194.222.94:443 - ORIGINAL_DST/173.194.222.94 -
1561658797.725 823 192.168.2.2 TCP_TUNNEL/200 6264 CONNECT 95.213.134.167:443 - ORIGINAL_DST/95.213.134.167 -
1561658887.764 865 192.168.2.2 TCP_TUNNEL/200 6263 CONNECT 95.213.134.167:443 - ORIGINAL_DST/95.213.134.167 -
1561658977.823 923 192.168.2.2 TCP_TUNNEL/200 6264 CONNECT 95.213.134.167:443 - ORIGINAL_DST/95.213.134.167 -
1561659067.870 918 192.168.2.2 TCP_TUNNEL/200 6259 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561659157.902 949 192.168.2.2 TCP_TUNNEL/200 6260 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561659247.920 1011 192.168.2.2 TCP_TUNNEL/200 6257 CONNECT 185.17.9.130:443 - ORIGINAL_DST/185.17.9.130 -
1561659337.936 1007 192.168.2.2 TCP_TUNNEL/200 6259 CONNECT 82.202.208.46:443 - ORIGINAL_DST/82.202.208.46 -
Перекопал гугл, но не нашел решение своей проблемы.
Скажите, в чем может быть причина данного поведения, почему вместо урлов/доменных имен я вижу лишь ip ресурсов?

Настройку Squid производил согласно инструкции https://chimera40.wordpress.com/2018/07/18/install-and-configure-squid-with-ssl-bump-on-centos7-restrict-domain-and-url-access-with-squidguard-and-analyze-it-all-with-squidanalyzer/
Последний раз редактировалось SLEDopit 02.07.2019 01:50, всего редактировалось 1 раз.
Причина: тэги [code]
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21253
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Squid некорректные логи https

Сообщение Bizdelnick »

Потому что Вы настроили расшифровку трафика только для monitor_domains и monitor_domains2. Впрочем, и для monitor_domains она работать не будет, потому что имя хоста squid не вытащит. Читайте https://wiki.squid-cache.org/Features/SslPeekAndSplice
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
vang95
Сообщения: 4

Re: Squid некорректные логи https

Сообщение vang95 »

Скажите, это можно как-нибудь решить?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21253
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Squid некорректные логи https

Сообщение Bizdelnick »

Что именно? Вы не сформулировали свою задачу.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
vang95
Сообщения: 4

Re: Squid некорректные логи https

Сообщение vang95 »

Корректную расшифровку трафика. Чтобы вместо ip ресурса https отображался хотя бы fqdn, а в идеале curl
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21253
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Squid некорректные логи https

Сообщение Bizdelnick »

Можно. Читайте документацию по ссылке, которую я привёл выше. Там всё довольно сложно, пока не вникнете — не настроите.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
vang95
Сообщения: 4

Re: Squid некорректные логи https

Сообщение vang95 »

Насколько я понял, исходя из статьи, требуется прописать параметры в /etc/squid/squid.conf

Shell

acl step1 at_step SslBump1
ssl_bump peek step1
ssl_bump bump all
Но это не решает проблему. Подскажите, что я делаю не так?
Последний раз редактировалось SLEDopit 02.07.2019 01:51, всего редактировалось 1 раз.
Причина: тэги [sh]
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21253
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Squid некорректные логи https

Сообщение Bizdelnick »

vang95 писал(а):
29.06.2019 10:50
Подскажите, что я делаю не так?
Пытаетесь найти готовое решение, не вникая в суть работы программы.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали: