Debian LAMP Fastcgi (поможите с настройкой)

Shi3A · Сообщение **Shi3A** » 04.04.2013 23:05

Всем доброго времени суток. Второй день бьюсь над этой задачкой.
имеем Debian, LAMP + nginx и посещаемый сайтик.
Apache2 + worker + FastCGI
делаю ab -n 10000 -c 500 http://site/ получаю жуткие тормоза. смотрим top - там LA за сотню зашкаливает, и куча процессов /usr/bin/php5-cgi
Начитался инфы интернетовской - особого прироста не получил. Всякие APC, memcached и прочие прелести стоят и настроены.
Заметил еще что при апач бенчмарке куча коннектов в mysql sleep'овых весит, но закрываются буквально 1-3 секунды.
Машина довольно хорошая, она тут непричем.

Это мой первый опыт оптимизации, поэтому я тут не силен и прошу помощи. Подскажите куда копать-то?

Bluetooth · Сообщение **Bluetooth** » 04.04.2013 23:29

Ну а может просто данный сайт на данном железе не может выдержать 500 одновременных запросов главной страницы?

Ну и, кстати, зачем такой пирог городить? nginx+apache+fastcgi? Может, nginx+php-fpm попробуете? И, кстати, можно еще и ограничить скорость обработки запросов в nginx, чтобы la не зашкаливал за сотню.

Ну и, наконец, не стоит забывать, что ab - это синтетика. И проблемы при выполнении ab могут совершенно не совпадать с проблемами при реальной эксплуатации. При эксплуатации их, кстати, может и вообще не быть :)

Shi3A · Сообщение **Shi3A** » 04.04.2013 23:36

Нет, проблемы есть.
Апач нужен, ибо сайт на друпале, а nginx - выступает в ролик load balancer'а (да, все круто, в теории

) На практике - не очень.
Пока кручу апач напрямую, без nginx'а, так сказать тестовый стенд.

Слипы, я так понимаю, от того, что я использую fastcgi как раз

Bluetooth · Сообщение **Bluetooth** » 05.04.2013 13:16

Нет, проблемы есть.

А какие?

Апач нужен, ибо сайт на друпале

http://wiki.nginx.org/Drupal

nginx - выступает в ролик load balancer'а

И между чем он балансирует?

Слипы, я так понимаю, от того, что я использую fastcgi как раз

Это не факт. Но попробуйте php-fpm аль apache-mpm-prefork.

Shi3A · Сообщение **Shi3A** » 05.04.2013 13:33

Bluetooth писал(а): ↑
05.04.2013 13:16
Нет, проблемы есть.
А какие?

На сайте спокойно ходят до 700 анонимов онлайн (с неполным кешированием). Но стоит пройти хотя бы 40 авторизаций, сразу вытекают проблемы. появляются куча php5-cgi которые висят. Пробывал подключаться к ним по gdb и strace'у, но толи знаний не хвает толи еще что-то, вообще причину где они зависают - не нашел (стрейс так вообще сотни мегабайт лога дает...)

Bluetooth писал(а): ↑
05.04.2013 13:16
Апач нужен, ибо сайт на друпале

http://wiki.nginx.org/Drupal

Да про настройку nginx без апача я знаю, но сайт мне достался по наследству, поэтому хренегознает какие там заморочки есть. Но я уже пометил это как вариант.

Bluetooth писал(а): ↑
05.04.2013 13:16
nginx - выступает в ролик load balancer'а

И между чем он балансирует?

Кучу апачей за собой держит

Bluetooth писал(а): ↑
05.04.2013 13:16
Слипы, я так понимаю, от того, что я использую fastcgi как раз

Это не факт. Но попробуйте php-fpm аль apache-mpm-prefork.

Пробовал префорк, правда не с тонкой настройкой, поставил, поменял параметры, лишь бы посмотреть, ab объективного прогресса не дал, поэтому я и отложил это пока тоже в сторону

Вопрос в другом скорее, как мне отдебажить мой друпал, чтобы узнать где конкретно оно может затыкаться?
Спасибо.

Bluetooth · Сообщение **Bluetooth** » 05.04.2013 13:52

Кучу апачей за собой держит

Так что, рассказывайте, какая у Вас конфигурация. Подробно. С примерами конфигов(хотя бы nginx). Тогда будем разговаривать предметно.

Вопрос в другом скорее, как мне отдебажить мой друпал, чтобы узнать где конкретно оно может затыкаться?

Ну, для начала, mysql-slow.log включить чтоль :)

Shi3A · Сообщение **Shi3A** » 05.04.2013 15:05

Bluetooth писал(а): ↑
05.04.2013 13:52
Кучу апачей за собой держит
Так что, рассказывайте, какая у Вас конфигурация. Подробно. С примерами конфигов(хотя бы nginx). Тогда будем разговаривать предметно.

Вопрос в другом скорее, как мне отдебажить мой друпал, чтобы узнать где конкретно оно может затыкаться?
Ну, для начала, mysql-slow.log включить чтоль

Ох, что-то я да, косячу
nginx

Код: Выделить всё

user www-data;
worker_processes  12;

error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;

timer_resolution 100ms;
worker_rlimit_nofile 8192;


events {
    worker_connections  1024;
    use epoll;
}


http {
    server_names_hash_bucket_size 128;
    include       /etc/nginx/mime.types;

    access_log  /var/log/nginx/access.log;
    default_type  application/octet-stream;

    sendfile        on;
    tcp_nopush     on;

    keepalive_timeout  65;
    tcp_nodelay        on;

    gzip  on;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";
    gzip_min_length     1100;
    gzip_buffers        4 8k;
    gzip_http_version   1.1;
    gzip_types text/plain application/xml application/x-javascript text/css;
    output_buffers      1 32k;
    postpone_output     1460;
    ignore_invalid_headers      on;

    client_max_body_size       512m;

    server_tokens off;

    client_header_timeout       10m;
    client_body_timeout         10m;
    send_timeout                10m;
    proxy_read_timeout          10m;
    connection_pool_size        1k;
    large_client_header_buffers 4 2k;
    request_pool_size           4k;

      proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=one:20m inactive=10m max_size=256m;
      proxy_temp_path /var/cache/nginx/temp;
      proxy_cache_valid any 20m;


    server {
        listen x.x.x.x:80;
    }
    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}

nginx virtualhost

Код: Выделить всё

upstream backend {
    server 192.168.1.2:8080 weight=7;
    server 192.168.1.4:8080 max_fails=3 fail_timeout=30s weight=1;
}

     server {
         listen x.x.x.x:80;
         server_name   site www.site
         server_name_in_redirect  off;
         set $cached 0;
         error_page 404 = @nocached;

         root /home/www/domain;
         #статику
            location ~* ^.+\.(jpg|jpeg|gif|gz|zip|flv|rar|wmv|avi|css|swf|png|htc|ico|mpeg|mpg|txt|mp3|mov
|js|ttf)$ {
                expires 1y;
                error_page 404 = @cached;
            }
        location @fetch {
                proxy_pass http://backend;
                proxy_store on;
                proxy_temp_path /var/cache/nginx/temp;
                proxy_set_header Host $host;
                proxy_set_header If-Modified-Since "";
            }
        location @nocached {
                proxy_pass http://backend;
                proxy_redirect default;
                proxy_set_header Host $http_host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            }
        location @cached {
                proxy_pass http://backend;
                proxy_redirect default;
                proxy_set_header Host $http_host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_cache one;
                proxy_cache_valid 200 301 302 304 5m;
                proxy_cache_key "$request_method|$http_if_modified_since|$http_if_none_match|$host|$request_uri";
                proxy_hide_header "Set-Cookie";
                proxy_ignore_headers "Cache-Control" "Expires";
                proxy_cache_use_stale error timeout invalid_header http_500 http_502 http_503 http_504;
            }
         access_log  /var/log/nginx/host.access.log;
             location / {
              proxy_pass http://backend;
              proxy_redirect     off;
              proxy_set_header   Host             $host;
              proxy_set_header   X-Real-IP        $remote_addr;
              proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
              proxy_set_header Range "";
              client_max_body_size       16m;
              client_body_buffer_size    128k;
              proxy_connect_timeout      180;
              proxy_send_timeout         180;
              proxy_read_timeout         180;
              proxy_buffer_size          4k;
              proxy_buffers              4 32k;
              proxy_busy_buffers_size    64k;
              proxy_temp_file_write_size 10m;

              send_timeout 120;
                return 404;

                    if ($http_cookie !~ "DRUPAL_UID" ) {
                        set $cached 1;
                    }
                    if ($request_method = POST) {
                        set $cached 0;
                    }
                    if ($request_method != GET) {
                        set $cached 0;
                    }
                    if ($cached = 1) {
                        error_page 404 405 502 504 = @cached;
                        break;
                    }
                    if ($cached = 0) {
                        error_page 404 405 502 504 = @nocached;
                        break;
                    }
                }

            location ~* /sites/all/files/imagecache/
             {
                root /home/www/site;
                error_page 404 = @backend;
             }
            location @backend
             {
                proxy_pass http://backend;
                proxy_redirect          off;
                proxy_set_header        Host    $host;
                proxy_set_header        X-Real-IP       $remote_addr;
                proxy_set_header        X-Forwarded-For $remote_addr;
             }

    }

apache

Код: Выделить всё

LockFile ${APACHE_LOCK_DIR}/accept.lock

PidFile ${APACHE_PID_FILE}

Timeout 50

KeepAlive On

MaxKeepAliveRequests 100

KeepAliveTimeout 3


<IfModule mpm_prefork_module>
    StartServers          5
    MinSpareServers       5
    MaxSpareServers      10
    MaxClients          150
    MaxRequestsPerChild   0
</IfModule>

<IfModule mpm_worker_module>
    StartServers          5
    MinSpareThreads      25
    MaxSpareThreads      75
    ThreadLimit          64
    ThreadsPerChild      25
    ServerLimit        9000
    MaxClients         9000
    MaxRequestsPerChild   0
</IfModule>

<IfModule mpm_event_module>
    StartServers          2
    MaxClients          150
    MinSpareThreads      25
    MaxSpareThreads      75
    ThreadLimit          64
    ThreadsPerChild      25
    MaxRequestsPerChild   0
</IfModule>

User ${APACHE_RUN_USER}
Group ${APACHE_RUN_GROUP}

AccessFileName .htaccess

<Files ~ "^\.ht">
    Order allow,deny
    Deny from all
    Satisfy all
</Files>

DefaultType text/plain

HostnameLookups Off

ErrorLog ${APACHE_LOG_DIR}/error.log

LogLevel warn

Include mods-enabled/*.load
Include mods-enabled/*.conf

Include httpd.conf
Include ports.conf

LogFormat "%v:%p %h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined
LogFormat "%h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %O" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent

Include conf.d/
Include sites-enabled/

apache fcgid.conf

Код: Выделить всё

<IfModule mod_fcgid.c>
  AddHandler    fcgid-script .fcgi
  MaxRequestLen 104857600

FcgidIdleTimeout 400
FcgidProcessLifeTime 3600
FcgidMaxProcesses 2000
FcgidMinProcessesPerClass 3
FcgidMaxProcessesPerClass 200
FcgidConnectTimeout 8
FcgidIOTimeout 60
FcgidBusyTimeout 200

</IfModule>

apache virtualhost

Код: Выделить всё

<VirtualHost 192.168.1.2:8080>
        ServerName   site
        DocumentRoot /home/www/site
        ServerAlias  www.site
        ServerAdmin  "info@site"
        SuexecUserGroup site site
        CustomLog /var/log/apache2/access_log combined
        ErrorLog /var/log/apache2/error_log
        LogLevel notice
        <Directory /home/www/ste>
        Options +ExecCGI
        AllowOverride All
        <IfModule mod_php5.c>
                php_admin_flag display_errors off
                php_admin_flag engine on
                php_admin_flag safe_mode off
                php_admin_value memory_limit 4096M
                php_admin_value max_postsize 2048M
                php_admin_value upload_max_filesize 4096M
                php_admin_value max_execution_time 5000
                php_admin_value max_input_time 5000
                php_admin_value apc.rfc1867 1
                php_admin_value default_socket_timeout 1200
                php_admin_value date.timezone "Europe/Moscow"
                php_admin_value post_max_size 4096M
                php_admin_value open_basedir "/home/www/site/:/tmp"
        </IfModule>
        </Directory>
         <IfModule mod_fcgid.c>
          AddHandler php-fcgi .php
          Action php-fcgi /fcgi-bin/php-fcgi-wrapper
          Alias /fcgi-bin/ /home/www/site/cgi-bin/php5-default/
          <Location /fcgi-bin/>
           SetHandler fcgid-script
            Options +ExecCGI
          </Location>
          ReWriteEngine On
          ReWriteRule ^/fcgi-bin/[^/]*$ / [PT]
         </IfModule>
</VirtualHost>

php-fcgi-wrapper

Код: Выделить всё

#!/bin/sh

export PHPRC=/home/www/site/conf

export PHP_FCGI_CHILDREN=8

export PHP_FCGI_MAX_REQUESTS=15000

exec /usr/bin/php5-cgi

Выжимка из php.ini

Код: Выделить всё

open_basedir = "/home/www/site/:/tmp"
upload_max_filesize = 4096M
post_max_size = 4096M
memory_limit = 2048M
max_execution_time = 5000
max_input_time = 5000
apc.rfc1867 = 1
default_socket_timeout = 1200
date.timezone = "Europe/Moscow"

Ну и my.cnf на всякий:

Код: Выделить всё

[client]
port            = 3306
socket          = /var/run/mysqld/mysqld.sock

[mysqld_safe]
socket          = /var/run/mysqld/mysqld.sock
nice            = 0

[mysqld]
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306
basedir         = /usr
datadir         = /var/lib/mysql
tmpdir          = /ramfs
lc-messages-dir = /usr/share/mysql
skip-external-locking


key_buffer_size         = 200M

max_allowed_packet      = 16M
net_buffer_length       = 64K
net_read_timeout        = 15
net_write_timeout       = 15
thread_stack            = 192K
thread_cache_size       = 2300
thread_cache            = 2300
myisam-recover         = BACKUP
max_connections        = 1500
thread_concurrency     = 20
query_cache_type        = on
query_cache_limit       = 16M
query_cache_size        = 196M


wait_timeout = 30
interactive_timeout = 30

myisam_sort_buffer_size = 256M

join_buffer_size        = 4M
read_buffer_size        = 4M
sort_buffer_size        = 80M
long_query_time         = 5
table_cache             = 512K
table_open_cache        = 512K
table_definition_cache  = 512K
max_heap_table_size     = 10G
tmp_table_size          = 10G

read_rnd_buffer_size    = 24M
slow-query-log-file     = /var/log/mysql/mysql-slow.log
log_bin                 = /var/log/mysql/mysql-bin.log
expire_logs_days        = 2
max_binlog_size         = 6600M
binlog_cache_size       = 256K

innodb_data_home_dir = /var/lib/mysql/
innodb_data_file_path = /ibdata1:100M:autoextend

innodb_buffer_pool_size = 16G
innodb_flush_log_at_trx_commit = 0
innodb_flush_method = O_DIRECT

innodb_log_buffer_size = 64M
innodb_lock_wait_timeout = 70
innodb_locks_unsafe_for_binlog = 1

innodb_thread_concurrency = 48

Машинки в строю - вот эти http://www.hetzner.de/hosting/produkte_rootserver/ex10

Bluetooth · Сообщение **Bluetooth** » 05.04.2013 15:22

Ну вроде все вполне прилично, кроме распределения нагрузки, почему она распределяется не равномерно?

Ну и, вообще, надо понять, на чем тормозит сервер. Для начала БД посмотрел бы. Она там большая?

Ну и еще посмотрел бы в сторону php-fpm.

BigBrother · Сообщение **BigBrother** » 05.04.2013 17:24

насчет ab: он может загрузить мощные сервера с балансировкой, по этому искать причину тормозов с помощью этого инструмента не очень коректно. Например: у меня ab ложит сервер Intel Xeon CPU E5645 @ 2.40GHz на 24 ядра, при этом сайт, в штатном режиме работает быстро. Попробуйте увеличить время для хранения ключей в memcache, и гляньте в slow-query-log mysql, может там индексов не хватает или my.cnf корявый. Тут много переменных, и нужен системный подход

Bluetooth писал(а): ↑
05.04.2013 15:22
Ну вроде все вполне прилично, кроме распределения нагрузки, почему она распределяется не равномерно?

наверное сервера разной мощности...

Shi3A · Сообщение **Shi3A** » 05.04.2013 17:27

Bluetooth писал(а): ↑
05.04.2013 15:22
Ну вроде все вполне прилично, кроме распределения нагрузки, почему она распределяется не равномерно?

Ну и, вообще, надо понять, на чем тормозит сервер. Для начала БД посмотрел бы. Она там большая?

Ну и еще посмотрел бы в сторону php-fpm.

пхп-фпм я сегодня наверно чуть опосля буду крутить. БД не имеет значения, есть несколько сайтов с одинаковым функционалом - разным содержанием, и маленькие и больше базы, тормозит одинаково, возможно тут прям на микроуровне mysql тормоза и мы их не улавливаем. Но я больше склоняюсь что кривые модули у нас к друпалу, а вот выявить где конкретно косяк я не умею, если кто-то научит - я буду премного благодарен.

А лоадбалансинг разный - потому что не все сайты размазаны по серверам, есть мелкие локальные сайты, которые размазывать не имеет смысла(ну это вообщем все приведется к нормальному виду, как только поборю вот эти затупы)

BigBrother, не очень понял фразу, наверно про корявость ab говорил, нежели про nginx, но вообщем я тестил и напрямую апач :-)

Bluetooth · Сообщение **Bluetooth** » 05.04.2013 21:32

наверное сервера разной мощности...

Не знаю, в посте сказано, что сервера hetzner EX10.

А лоадбалансинг разный - потому что не все сайты размазаны по серверам, есть мелкие локальные сайты, которые размазывать не имеет смысла(ну это вообщем все приведется к нормальному виду, как только поборю вот эти затупы)

Так может привести все к нормальному виду как раз за счет нормального лоад балансинга? :)

Но я больше склоняюсь что кривые модули у нас к друпалу, а вот выявить где конкретно косяк я не умею, если кто-то научит - я буду премного благодарен.

Напрягите программеров, чтоль :)
А вообще, нужно понять сначала, где затык - долго ли формируется страница, долго ли отвечает бд, или еще что-нибудь.

Shi3A · Сообщение **Shi3A** » 06.04.2013 02:42

Bluetooth писал(а): ↑
05.04.2013 21:32
наверное сервера разной мощности...
Не знаю, в посте сказано, что сервера hetzner EX10.

А лоадбалансинг разный - потому что не все сайты размазаны по серверам, есть мелкие локальные сайты, которые размазывать не имеет смысла(ну это вообщем все приведется к нормальному виду, как только поборю вот эти затупы)
Так может привести все к нормальному виду как раз за счет нормального лоад балансинга?

Но я больше склоняюсь что кривые модули у нас к друпалу, а вот выявить где конкретно косяк я не умею, если кто-то научит - я буду премного благодарен.
Напрягите программеров, чтоль
А вообще, нужно понять сначала, где затык - долго ли формируется страница, долго ли отвечает бд, или еще что-нибудь.

при "простое" на запросы для страницы уходит ~100мс, когда начинаешь запускать ab - цифры растут неимоверно, 5000-10000мс, но mysql ничего мне не говорит( одни только sleep'ы показывает. Думали локи, таблицы перекинули на innodb - не помогло.
Программисты тоже не умеют дебажить пхп на таком уровне
Ох напрягают меня эти слипы в мускуле.

UPD: К слову, отказ от апача немного ускорил, но надо гонять и тестить, надеюсь ничего не отвалится.

neol · Сообщение **neol** » 06.04.2013 16:06

Shi3A писал(а): ↑
04.04.2013 23:05
Это мой первый опыт оптимизации, поэтому я тут не силен и прошу помощи. Подскажите куда копать-то?

В документацию.

Глядя на ваши конфиги, можно подумать, что у вас сервер с over9000 процессорных ядер и петабайтом памяти. Вам не кажется, что настройка сервера - это не только вписывание циферок покрупнее в конфигурационные файлы?

Я укажу только самые эпичные моменты:

Код: Выделить всё

FcgidMaxProcesses 2000

Само по себе прекрасно, а в сумме с

Код: Выделить всё

php_admin_value memory_limit 4096M

Это просто праздник какой-то (2000 соединений по 4 Гб - это, на минуточку, 8 терабайт памяти. Конечно ни одна нормальная CMS столько памяти не употребит, так что значение просто бессмысленно, но от этого не менее забавно).
FcgidMaxProcesses 10, думаю будет в самый раз для ab. Значение, которое подойдет для нормальной работы сайта надо подбирать экспериментально, но методом научного тыка я бы сказал 40-50 будет в самый раз, чтобы процессы между собой не сильно дрались.
Возможно будет нужно еще уменьшить MaxClients в apache и увеличить ListenBacklog, чтобы "лишние" запросы не отбрасывались.

Код: Выделить всё

long_query_time         = 5

Запрос дольше секунды - совершенно непозволительная роскошь для web.

Код: Выделить всё

myisam_sort_buffer_size = 256M
join_buffer_size        = 4M
read_buffer_size        = 4M
sort_buffer_size        = 80M
read_rnd_buffer_size    = 24M
max_connections        = 1500

http://dev.mysql.com/doc/refman/5.0/en/memory-use.html
(read_buffer_size+sort_buffer_size) * max_connections у вас будет около 120 Гб, а это далеко не полная формула.

Код: Выделить всё

max_heap_table_size     = 10G
tmp_table_size          = 10G

Шикарно. У вас в базе-то есть 10G?

HINT: mysql создает временные таблицы на диске при любых джойнах с участием blob и text, потому что они не поддерживаются в таблицах типа memory

Shi3A писал(а): ↑
06.04.2013 02:42
при "простое" на запросы для страницы уходит ~100мс, когда начинаешь запускать ab - цифры растут неимоверно, 5000-10000мс

А вы чего собственно ожидали от тысяч параллельных потоков, которые наконфигуряли? Чуда?

Shi3A · Сообщение **Shi3A** » 06.04.2013 16:28

long_query_time, а что мне их логгировать, я итак вижу, какие запросы тормозят.
max_connections = 1500 и thread_cache были выставлены эксперементально, для проверки возможности того, что sleep'ы занимают все пространство. FcgidMaxProcesses кстати тоже.
max_heap_table_size и tmp_table_size, да, база толстая.
Про временные таблицы - я уже пробовал монтировать оперативку и выставлять tmpdir, но успехом это не увенчалось.
От апача скорее всего откажемся в пользу php5-fpm. и php_admin_value memory_limit висит в в секции <ifmodule mod_php5.c>, который у нас не подключается (видимо осталось от старого конфига)

И io на диске не показывает какой-либо колоссальной нагрузки от mysql

neol · Сообщение **neol** » 06.04.2013 17:07

Shi3A писал(а): ↑
06.04.2013 16:28
max_connections = 1500 и thread_cache были выставлены эксперементально, для проверки возможности того, что sleep'ы занимают все пространство. FcgidMaxProcesses кстати тоже.

Проводите тесты на адекватных значениях. С таким бредом в конфигах экспериментировать бессмысленно.

Shi3A писал(а): ↑
06.04.2013 16:28
php_admin_value memory_limit висит в в секции <ifmodule mod_php5.c>, который у нас не подключается (видимо осталось от старого конфига)

Посмотрите в php.ini, там тоже хорошо.

unixforum.org

Debian LAMP Fastcgi (поможите с настройкой)

Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi

Re: Debian LAMP Fastcgi