перехват http-траффика

[nadge]

Какие есть способы сабжа?

Нужно в "фоновом" режиме перехватывать запросы к определенным сайтам для составления некоторой статистики. Я так понимаю, вероятнее всего, это будет прокси (хотя альтернативы, если есть, тоже интересны). Вот и нужно выбрать, какой именно.

Если это будет прокси, поддержка прозрачного режима пока не требуется (хотя на будущее не помешает), т.к. прокси можно прописать на клиенте. Хотелось бы, чтобы прокси не требовал права рута - хочу сразу запускать от опред. юзера (в крайнем случае чтобы запускался от рута и переключался на опред. юзера).

Прокси (или что там) должен передавать траффик (только) с указанных сайтов моему скрипту (на питоне). (Чтобы не загружать мой скрипт траффиком с "неинтересных сайтов")

Требуется только этот функционал. Вроде бы сквид умеет это, но серверок у нас скромненький, сквид тяжеловат. Я пока не тестировал, годится или нет, но хотелось бы что-нибудь полегче в плане сис. ресурсов, особено оперативки.


З.Ы.Если прокси умеет по рег. выражениям отбирать для передачи скрипту только опеределеные страницы сайта - вообще супер.


З.З.Ы. Накатал было свой прокси (на питоне), но производительность у него не очень получилась. Думал было переписать, сменив архитектуру на многопроцессную, но решил все же сперва поинтересоваться наличием готовых решений.

[patrius]

nadge, смотрели ли вы в сторону iptables?
Исходя из того, что 1 сайт = N IP, 1 IP = 1 сайт...

[nadge]

patrius
Т.е. Вы предлагаете написать простенький прозрачный прокси и при помощи iptables перенаправлять на него запросы только к определенным сайтам?

Поясните пожалуйста мысль.

[nadge]

Вопрос по этой теме. Вроде бы lighttpd умеет работать в режиме прокси в качестве фронтенда с балансировкой нагрузки.

Может ли он в таком случае направлять на бэкенды запросы только к определенным сайтам, а остальные просто пропускать через себя (как обычный прокси)? Если да, можно ли гибко (регэкспы?) задавать, какие именно страницы отправлять на бэкенд?

З.Ы. Вопрос касается любого легкого прокси-сервера. Может nginx или там tinyproxy?

З.З.Ы. При использовании таких хитрых связок так же критична не только скорость обработки запросов, но и нагрузка на сервер.

[Ленивая Бестолочь]

Исходя из того, что 1 сайт = N IP, 1 IP = 1 сайт...

на одном и том же адресе вполне могут хоститься много сайтов одновременно.

[nadge]

Ленивая Бестолоч...
В моем случае - один или более IP у сайта. Хотя если бы было несколько сайтов на однои IP, то, думаю, можно обращения к ним все на перехватчик отправлять. Т.е. в этом врядли будет проблема.

И все же, как сделать через iptables? Так как я предположил?


И неужели никто не знает по поводу lighttpd, nginx и.т.п.? Я смотрел их документацию, но не разобрался с такой настройкой.

[patrius]

nadge
какого рода статистику Вы хотите получить? опишите пожалуйста.

[artb1sh]

bfilter?

[nadge]

patrius
Должны анализироваться ПОСТ запросы и ответы сервера (код страниц и ajax).

artb1sh
Возможно, подойдет. Попробую и отпишусь тогда.

[Nymin]

настроить в wireshark фильтры и что бы он логи писал в файл

[nadge]

Nymin
Кстати вариант. Попробую.


З.Ы. Т.к. на сервер после долгих матюков все таки был установлен сквид, хочу попробовать сделать на основе него. Вроде там есть техногогия ECAP, но по ней толком нет документации. Может кто подскажет толковое руководство? Чтобы нетрудно разобраться было.

[patrius]

Nymin
Кстати вариант. Попробую.


З.Ы. Т.к. на сервер после долгих матюков все таки был установлен сквид, хочу попробовать сделать на основе него. Вроде там есть техногогия ECAP, но по ней толком нет документации. Может кто подскажет толковое руководство? Чтобы нетрудно разобраться было.

Вы об этом

[nadge]

О нем, но в разделе Documentation там как-то негусто... Удалось откопать (забыл где) пример на С++, и это все...