Squid и HeadHunter (Требуется squid гуру!)

[technotrance]

Здравствуйте!
Уже несколько дней борюсь, что сайт hh.ru (HeadHunter) нормально работал через squid.
Пока что, мне удалось лишь добиться того, чтобы на него просто можно было заходить. Поборол это вот таким способом:
http://technotrance.su/index.php/moi-zamet...quid-headhunter
Но осталась ещё одна проблема, которую не могу победить. Когда нажимаю кнопочку "Вход в личный кабинет", то сайт жалуется:
"Вход невозможен
К сожалению, вы не можете войти на сайт, так как в вашем браузере отключена поддержка cookies. Для корректной работы с сайтом вы должны разрешить установку обычных, сессионых cookies, а также cookies со сторонних доменов. "
Само собой, что в браузере всё включено.
В конфиг сквида также добавил строчки:

Код: Выделить всё

request_header_access Cookie allow problem_sites
request_header_access Set-Cookie allow problem_sites

но это не помогло.
Уважаемые камрады, если у кого-то тоже стоит squid и вас получается с него зайти на hh.ru и получается там войти в личный кабинет, то поделитесь, пож-та, как вы это сделали!!!

[McSim]

что в логи то в этот момент падает?
Да, и еще, в mail.ru через squid файлы нормально прикрепляются?

[Voler]

А мимо прокси религия не позволяет пустить? У меня правилами iptables пускаются мимо сайты где не любят прокси.

[McSim]

А мимо прокси религия не позволяет пустить? У меня правилами iptables пускаются мимо сайты где не любят прокси.

на самом деле я тоже не сторонник кого-то мимо прокси пускать...
к тому же, такие большие сайты, как hh.ru. У них может IP меняться только в путь...
К тому же может быть куча технических поддоменов с отдельными веб-серверами, которые тоже могут менять адресацию.

[Voler]

Тогда подробнее, что не работает на hh.ru?

[technotrance]

Уважаемые камрады, на hh.ru не работает вот что:

[technotrance]

Если же конфиг кому интересен, то вот он полностью:

Код: Выделить всё

# created by SAMS _sams_ 2012-10-11 11:59:49
# TAG: http_port

http_port 172.16.1.100:3128
visible_hostname 172.16.1.100

# dns_nameservers 127.0.0.1 8.8.8.8 8.8.4.4
# Здесь нужно указать ДНС-серверы вашего провайдера (через пробел).

hierarchy_stoplist cgi-bin ?
# squid не будет кешировать динамически генерируемые страницы (поисковые сервера, некоторые другие серверы и чаты),
# а будет напрямую перенаправлять запрос серверу

coredump_dir /var/spool/squid
# Указываем куда сбрасывать core

# TAG: cache_mem (bytes)

cache_mem 1024 MB
# сколько оперативной памяти сквид может забрать под свои нужды.

maximum_object_size 2000 KB
# максимальный размер объектов, которые будут сохранены на диск.

maximum_object_size_in_memory 1000 KB
# максимальный размер объектов, которые будут сохранены в кэше.

# TAG: cache_dir

cache_dir ufs /var/spool/squid 4096 16 256
# указывает сквиду, где сохранять кешируемые файлы. Указывает отдать под кеш 4096 мегабайт и
# создать 16 и 256 соответственно каталогов 1го и 2го уровня.

# TAG: cache_access_log
# TAG: cache_log
# TAG: cache_store_log
# TAG: ftp_user

# в этих строках мы указываем сколько времени в минутах объект в кеше считается свежим
# и какой процент объектов оставлять с последнего обновления
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320

# TAG: redirect_program
# redirect_program /etc/squid/redirector.sams
# Позже, здесь можно будет указать путь к редиректору.

# TAG: redirector_access

# TAG: auth_param

auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp --require-membership-of="ATG-U\\Пользователи домена"
auth_param ntlm children 100
auth_param ntlm keep_alive on

auth_param basic program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-basic --require-membership-of="ATG-U\\Пользователи домена"
auth_param basic children 100
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off

# TAG: acl
acl _sams_505aa18873aed proxy_auth "/etc/squid/505aa18873aed.sams"
acl _sams_505aa18873aed_time time MTWHFAS 00:00-23:59
acl _sams_505aa15012b0d proxy_auth "/etc/squid/505aa15012b0d.sams"
acl _sams_505aa15012b0d_time time MTWHFAS 00:00-23:59
acl _sams_505aa0a793b3e url_regex -i "/etc/squid/505aa0a793b3e.sams"
acl _sams_chat url_regex -i "/etc/squid/chat.sams"
acl _sams_porno url_regex -i "/etc/squid/porno.sams"

acl manager proto cache_object
# назначить протоколу кеширования объектов название manager

acl localhost src 127.0.0.1/32 172.16.1.100/32
# адрес сервера

acl to_localhost dst 127.0.0.0/8 0.0.0.0/32
# удалённые адреса

acl localnet src 172.16.0.0/23
# адресное пространство локальной сети

acl SSL_ports port 443
acl Safe_ports port "/etc/squid/allowports.txt"
# разрешённые порты

acl CONNECT method CONNECT

# для джаваскриптов и загрузки файлов
acl fileupload req_mime_type -i ^multipart/form-data$
acl javascript rep_mime_type -i ^application/x-javascript$

# список проблемных сайтов типа hh.ru
acl problem_sites url_regex -i "/etc/squid/problem-sites.txt"

# Only allow cachemgr access from localhost
http_access allow manager localhost
http_access deny manager

http_access deny !Safe_ports
# Запрет всех портов, кроме разрешённых

http_access deny CONNECT !SSL_ports
# Запрет всех SSL портов, кроме разрешённых

http_access deny to_localhost

# разрешить джаваскрипты и загрузку файлов
http_access allow fileupload
http_access allow javascript

# для доступа к проблемным сайтам
request_header_access Allow allow problem_sites
request_header_access Authorization allow problem_sites
request_header_access WWW-Authenticate allow problem_sites
request_header_access Proxy-Authorization allow problem_sites
request_header_access Proxy-Authenticate allow problem_sites
request_header_access Cache-Control allow problem_sites
request_header_access Content-Encoding allow problem_sites
request_header_access Content-Length allow problem_sites
request_header_access Content-Type allow problem_sites
request_header_access Date allow problem_sites
request_header_access Expires allow problem_sites
request_header_access Host allow problem_sites
request_header_access If-Modified-Since allow problem_sites
request_header_access Last-Modified allow problem_sites
request_header_access Location allow problem_sites
request_header_access Pragma allow problem_sites
request_header_access Accept allow problem_sites
request_header_access Accept-Charset allow problem_sites
request_header_access Accept-Encoding allow problem_sites
request_header_access Accept-Language allow problem_sites
request_header_access Content-Language allow problem_sites
request_header_access Mime-Version allow problem_sites
request_header_access Retry-After allow problem_sites
request_header_access Title allow problem_sites
request_header_access Connection allow problem_sites
request_header_access Proxy-Connection allow problem_sites
# request_header_access User-Agent allow problem_sites
request_header_access Set-Cookie allow problem_sites
request_header_access Cookie allow problem_sites
request_header_access All deny problem_sites

# TAG: http_access
http_access allow _sams_505aa18873aed  !_sams_505aa0a793b3e !_sams_chat !_sams_porno _sams_505aa18873aed_time
http_access allow _sams_505aa15012b0d  _sams_505aa15012b0d_time

http_access allow localhost
# разрешить доступ с сервера

http_access deny all
# запретить всё остальное

# TAG: delay_pools

icap_enable on
# включить icap

icap_preview_enable on
icap_preview_size 128
icap_send_client_ip on

icap_service service_req reqmod_precache bypass=1 icap://127.0.0.1:1344/srv_clamav

icap_service service_resp respmod_precache bypass=0 icap://127.0.0.1:1344/srv_clamav

adaptation_access service_req allow all
adaptation_access service_resp allow all
# всех проверяем на вирусы

[technotrance]

что в логи то в этот момент падает?
Да, и еще, в mail.ru через squid файлы нормально прикрепляются?

На маил.ру файлы нормально прикрепляет, проверил.

В логах при попытке авторизоваться на hh.ru вот что:

Код: Выделить всё

1349936251.120    308 172.16.0.117 TCP_MISS/200 69859 GET http://hh.ru/ miho DIRECT/94.124.200.86 text/html
1349936251.160      1 172.16.0.117 TCP_DENIED/407 4964 GET http://bs.yandex.ru/informer/156828/3_0_FFFFFFFF_FFFFFFFF_0_pageviews - NONE/- text/html
1349936251.160      0 172.16.0.117 TCP_DENIED/407 4305 GET http://counter.yadro.ru/logo;HeadHunter? - NONE/- text/html
1349936251.213      1 172.16.0.117 TCP_DENIED/407 5195 GET http://bs.yandex.ru/informer/156828/3_0_FFFFFFFF_FFFFFFFF_0_pageviews - NONE/- text/html
1349936251.213      1 172.16.0.117 TCP_DENIED/407 4536 GET http://counter.yadro.ru/logo;HeadHunter? - NONE/- text/html
1349936251.225      0 172.16.0.117 TCP_DENIED/407 4366 GET http://counter.yadro.ru/hit;HH_Center? - NONE/- text/html
1349936251.259    100 172.16.0.117 TCP_MISS/200 7452 GET http://counter.rambler.ru/top100.jcn? miho DIRECT/81.19.88.106 application/x-javascript
1349936251.333      0 172.16.0.117 TCP_DENIED/407 4597 GET http://counter.yadro.ru/hit;HH_Center? - NONE/- text/html
1349936251.350      0 172.16.0.117 TCP_DENIED/407 5206 GET http://counter.rambler.ru/top100.scn? - NONE/- text/html
1349936251.368     68 172.16.0.117 TCP_MISS/200 694 GET http://counter.yadro.ru/logo;HeadHunter? miho DIRECT/88.212.196.104 image/gif
1349936251.373     73 172.16.0.117 TCP_MISS/200 1654 GET http://bs.yandex.ru/informer/156828/3_0_FFFFFFFF_FFFFFFFF_0_pageviews miho DIRECT/213.180.204.90 image/png
1349936251.382    115 172.16.0.117 TCP_DENIED/407 4326 GET http://sedu.adhands.ru/site/? - NONE/- text/html
1349936251.386      0 172.16.0.117 TCP_DENIED/407 4437 GET http://www.tns-counter.ru/V13a***R%3E*hh_ru/ru/UTF-8/tmsec=hh_total/ - NONE/- text/html
1349936251.386      0 172.16.0.117 TCP_DENIED/407 5437 GET http://counter.rambler.ru/top100.scn? - NONE/- text/html
1349936251.387      0 172.16.0.117 TCP_DENIED/407 5201 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.388      0 172.16.0.117 TCP_DENIED/407 5203 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.390      0 172.16.0.117 TCP_DENIED/407 5203 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.391      0 172.16.0.117 TCP_DENIED/407 5553 GET http://mc.yandex.ru/watch/156828? - NONE/- text/html
1349936251.392      0 172.16.0.117 TCP_DENIED/407 4282 GET http://ints.ifolder.ru/stat/? - NONE/- text/html
1349936251.394      0 172.16.0.117 TCP_DENIED/407 4741 GET http://counter.yadro.ru/hit;HeadHunter? - NONE/- text/html
1349936251.395      0 172.16.0.117 TCP_DENIED/407 5432 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.416     67 172.16.0.117 TCP_MISS/200 692 GET http://counter.yadro.ru/hit;HH_Center? miho DIRECT/88.212.196.104 image/gif
1349936251.420     74 172.16.0.117 TCP_DENIED/407 5187 GET http://www.google-analytics.com/__utm.gif? - NONE/- text/html
1349936251.420     75 172.16.0.117 TCP_DENIED/407 5187 GET http://www.google-analytics.com/__utm.gif? - NONE/- text/html
1349936251.423    157 172.16.0.117 TCP_DENIED/407 5204 GET http://dc.cb.b4.a0.top.mail.ru/counter? - NONE/- text/html
1349936251.423      1 172.16.0.117 TCP_DENIED/407 5434 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.423      1 172.16.0.117 TCP_DENIED/407 5434 GET http://hh.ru/banners.mvc? - NONE/- text/html
1349936251.424      0 172.16.0.117 TCP_DENIED/407 5784 GET http://mc.yandex.ru/watch/156828? - NONE/- text/html
1349936251.436     49 172.16.0.117 TCP_MISS/200 887 GET http://hh.ru/banners.mvc? miho DIRECT/94.124.200.86 text/xml
1349936251.436     42 172.16.0.117 TCP_MISS/200 634 GET http://counter.rambler.ru/top100.scn? miho DIRECT/81.19.88.106 image/gif
1349936251.439      1 172.16.0.117 TCP_DENIED/407 5435 GET http://dc.cb.b4.a0.top.mail.ru/counter? - NONE/- text/html
1349936251.439      1 172.16.0.117 TCP_DENIED/407 4557 GET http://sedu.adhands.ru/site/? - NONE/- text/html
1349936251.456     67 172.16.0.117 TCP_MISS/200 515 GET http://hh.ru/banners.mvc? miho DIRECT/94.124.200.86 text/xml
1349936251.458      0 172.16.0.117 TCP_DENIED/407 4668 GET http://www.tns-counter.ru/V13a***R%3E*hh_ru/ru/UTF-8/tmsec=hh_total/ - NONE/- text/html
1349936251.473     39 172.16.0.117 TCP_MISS/200 824 GET http://hh.ru/banners.mvc? miho DIRECT/94.124.200.86 text/xml
1349936251.484     71 172.16.0.117 TCP_MISS/200 1144 GET http://hh.ru/banners.mvc? miho DIRECT/94.124.200.86 text/xml
1349936251.507     73 172.16.0.117 TCP_MISS/302 1080 GET http://mc.yandex.ru/watch/156828? miho DIRECT/87.250.250.119 -
1349936251.519     85 172.16.0.117 TCP_MISS/200 1264 GET http://hh.ru/banners.mvc? miho DIRECT/94.124.200.86 text/xml
1349936251.521     60 172.16.0.117 TCP_MISS/200 1258 GET http://dc.cb.b4.a0.top.mail.ru/counter? miho DIRECT/94.100.188.226 image/gif
1349936251.599      1 172.16.0.117 TCP_DENIED/407 4972 GET http://counter.yadro.ru/hit;HeadHunter? - NONE/- text/html
1349936251.599      1 172.16.0.117 TCP_DENIED/407 5418 GET http://www.google-analytics.com/__utm.gif? - NONE/- text/html
1349936251.599      1 172.16.0.117 TCP_DENIED/407 5418 GET http://www.google-analytics.com/__utm.gif? - NONE/- text/html
1349936251.614    153 172.16.0.117 TCP_MISS/200 639 GET http://sedu.adhands.ru/site/? miho DIRECT/87.242.75.209 image/gif
1349936251.636    205 172.16.0.117 TCP_MISS/200 507 GET http://ints.ifolder.ru/stat/? miho DIRECT/78.108.186.5 image/gif
1349936251.657     72 172.16.0.117 TCP_MISS/200 587 GET http://www.tns-counter.ru/V13a***R%3E*hh_ru/ru/UTF-8/tmsec=hh_total/ miho DIRECT/217.73.200.221 image/gif
1349936251.691     67 172.16.0.117 TCP_MISS/200 458 GET http://counter.yadro.ru/hit;HeadHunter? miho DIRECT/88.212.196.104 image/gif
1349936251.707     83 172.16.0.117 TCP_MISS/200 590 GET http://www.google-analytics.com/__utm.gif? miho DIRECT/173.194.35.201 image/gif
1349936251.708     84 172.16.0.117 TCP_MISS/200 590 GET http://www.google-analytics.com/__utm.gif? miho DIRECT/173.194.35.201 image/gif
1349936251.922     35 172.16.0.117 TCP_MISS/200 635 GET http://mc.yandex.ru/watch/156828/1? miho DIRECT/87.250.250.119 text/javascript
1349936252.248    258 172.16.0.117 TCP_MISS/200 6022 GET http://a.adwolf.ru/prepareCode? miho DIRECT/87.242.88.5 application/x-javascript
1349936252.333     70 172.16.0.117 TCP_MISS/200 587 GET http://www.tns-counter.ru/V13a****vfocuse_ru/ru/CP1251/tmsec=vfocuse_total/196281 miho DIRECT/217.73.200.221 image/gif
1349936252.423    159 172.16.0.117 TCP_MISS/200 477 GET http://87.242.88.15/transparent.gif miho DIRECT/87.242.88.15 image/gif
1349936252.674    316 172.16.0.117 TCP_MISS/200 36333 GET http://87.242.88.15/121009/mediaplus/5097/47187.swf miho DIRECT/87.242.88.15 application/x-shockwave-flash
1349936253.305     33 172.16.0.117 TCP_MISS/204 225 GET http://hh.ru/stat? miho DIRECT/94.124.200.86 -

Ребят, если у кого тоже работает squid, то попробуйте через него зайти и авторизоваться на hh.ru. Если у кого-то получится, то покажите свой конфиг пож-та.

[McSim]

1. подозрение на icap
Тестово попробуй отключить icap и залогинется в hh. Для этого закомментируй:

Код: Выделить всё

icap_enable on
# включить icap

icap_preview_enable on
icap_preview_size 128
icap_send_client_ip on

icap_service service_req reqmod_precache bypass=1 icap://127.0.0.1:1344/srv_clamav

icap_service service_resp respmod_precache bypass=0 icap://127.0.0.1:1344/srv_clamav

adaptation_access service_req allow all
adaptation_access service_resp allow all

2. Подозорение на непонятно что )
Запусти Firebug на вкладке сеть и попробуй залогинется - увидишь на каком запросе затыкается:

[technotrance]

Да, и еще, в mail.ru через squid файлы нормально прикрепляются?

На mail.ru прикрепляются. А вот в vk.com не получается фотку загрузить (через лису)

[technotrance]

1. подозрение на icap
Тестово попробуй отключить icap и залогинется в hh.

пробовал уж. это не в нём дело

2. Подозорение на непонятно что )
Запусти Firebug на вкладке сеть и попробуй залогинется - увидишь на каком запросе затыкается:

Это попробую...

[Amper13]

Только что попробовал у себя. Все работает.

Код: Выделить всё

[root@proxy ~]# rpm -qa | grep squid
squid-3.1.10-9.el6_3.x86_64

Вот мой конфиг:

P.S. Извиняюсь что с тегами, но использую sams он как раз к тегам привязывается. Жалко что его разработку заморозили, нужно искать что то другое.

[technotrance]

Только что попробовал у себя. Все работает.

Код: Выделить всё

[root@proxy ~]# rpm -qa | grep squid
squid-3.1.10-9.el6_3.x86_64

Вот мой конфиг:

P.S. Извиняюсь что с тегами, но использую sams он как раз к тегам привязывается. Жалко что его разработку заморозили, нужно искать что то другое.

Я тоже самс использую.
С вашим конфигом не получилось -- результат прежний.

[technotrance]

Подниму тему.
У меня проблема решилась откатом на squid--3.1.10. Причём на этой версии сквида сайт hh.ru работает вообще без всяких извращений, о которых я писал в начале топика.
А вот на версиях squid--3.1.15 и squid--3.1.19 (я только их пробовал) эта проблема есть.

[Dr.Sqaer]

Подниму тему.
У меня проблема решилась откатом на squid--3.1.10. Причём на этой версии сквида сайт hh.ru работает вообще без всяких извращений, о которых я писал в начале топика.
А вот на версиях squid--3.1.15 и squid--3.1.19 (я только их пробовал) эта проблема есть.

Друзья, а у кого нибудь решилась проблема без отката версии? Отдел кадров задолбали уже с этим HH

[Dr.Sqaer]

C вашего позволения UP сделаю, ну реально проблема существует, а как решить непонятно.

[nikto]

Добрый вечерочек. ©

Проверил сегодня. Нормально все зашлось. Ничего особенного в конфиге не менял для работы c hh.

Spoiler

uname -a
Linux srv-proxy 3.5.0-37-generic #58~precise1-Ubuntu SMP Wed Jul 10 17:48:11 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

squid3 -v
Squid Cache: Version 3.1.19
configure options: '--build=x86_64-linux-gnu' '--prefix=/usr' '--includedir=${prefix}/include' '--mandir=${prefix}/share/man' '--infodir=${prefix}/share/info' '--sysconfdir=/etc' '--localstatedir=/var' '--libexecdir=${prefix}/lib/squid3' '--srcdir=.' '--disable-maintainer-mode' '--disable-dependency-tracking' '--disable-silent-rules' '--datadir=/usr/share/squid3' '--sysconfdir=/etc/squid3' '--mandir=/usr/share/man' '--with-cppunit-basedir=/usr' '--enable-inline' '--enable-async-io=8' '--enable-storeio=ufs,aufs,diskd' '--enable-removal-policies=lru,heap' '--enable-delay-pools' '--enable-cache-digests' '--enable-underscores' '--enable-icap-client' '--enable-follow-x-forwarded-for' '--enable-auth=basic,digest,ntlm,negotiate' '--enable-basic-auth-helpers=LDAP,MSNT,NCSA,PAM,SASL,SMB,YP,DB,POP3,getpwnam,squid_radius_auth,multi-domain-NTLM' '--enable-ntlm-auth-helpers=smb_lm,' '--enable-digest-auth-helpers=ldap,password' '--enable-negotiate-auth-helpers=squid_kerb_auth' '--enable-external-acl-helpers=ip_user,ldap_group,session,unix_group,wbinfo_group' '--enable-arp-acl' '--enable-esi' '--enable-zph-qos' '--enable-wccpv2' '--disable-translation' '--with-logdir=/var/log/squid3' '--with-pidfile=/var/run/squid3.pid' '--with-filedescriptors=65536' '--with-large-files' '--with-default-user=proxy' '--enable-linux-netfilter' 'build_alias=x86_64-linux-gnu' 'CFLAGS=-g -O2 -fPIE -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -Werror=format-security' 'LDFLAGS=-Wl,-Bsymbolic-functions -fPIE -pie -Wl,-z,relro -Wl,-z,now' 'CPPFLAGS=-D_FORTIFY_SOURCE=2' 'CXXFLAGS=-g -O2 -fPIE -fstack-protector --param=ssp-buffer-size=4 -Wformat -Wformat-security -Werror=format-security' --with-squid=/build/buildd/squid3-3.1.19

aptitude show squid3

Spoiler

Пакет: squid3
Состояние: установлен
Автоматически установлен: да
Версия: 3.1.19-1ubuntu3.12.04.2
Приоритет: необязательный
Раздел: web
Сопровождающий: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>
Архитектура: amd64
Размер в распакованном виде: 4 112 k
Зависимости: libc6 (>= 2.15), libcap2 (>= 2.10), libdb5.1, libexpat1 (>= 1.95.8), libgcc1 (>= 1:4.1.1), libgssapi-krb5-2 (>= 1.10+dfsg~), libldap-2.4-2 (>= 2.4.7), libltdl7
(>= 2.4.2), libpam0g (>= 0.99.7.1), libsasl2-2, libstdc++6 (>= 4.4.0), libxml2 (>= 2.7.4), upstart-job, netbase, adduser, logrotate (>= 3.5.4-1),
squid3-common (= 3.1.19-1ubuntu3.12.04.2), lsb-base, ssl-cert (>= 1.0-11ubuntu1)
Предлагает: squidclient, squid-cgi, resolvconf (>= 0.40), smbclient, ufw
Конфликтует: squid3
Описание: Full featured Web Proxy cache (HTTP proxy)
Squid is a high-performance proxy caching server for web clients, supporting FTP, gopher, and HTTP data objects.

Squid version 3 is a major rewrite of Squid in C++ and introduces a number of new features including ICAP and ESI support.
Сайт: http://www.squid-cache.org