Решено: php-fpm 5.4 (segfault at ...)

[BigBrother]

Добрый день.
Имеется проект на symfony 1.x, который крутится на centos 6, nginx 1.2.x и php-fpm 5.4 (+ APC cache).
Заметил, что на одном и серверов в /var/log/message переодически выскакивает

Код: Выделить всё

Aug  8 20:16:42 srv kernel: php-fpm[6082]: segfault at 7fa3b1f59031 ip 0000000000772639 sp 00007fffa00bd8a0 error 4 in php-fpm[400000+920000]
Aug  8 20:20:43 srv kernel: php-fpm[6095]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffa00bd748 error 15 in php-fpm[f1f000+10000]
Aug  8 20:26:45 srv kernel: php-fpm[6086]: segfault at 59 ip 00000000007582b9 sp 00007fffa00bd6e8 error 4 in php-fpm[400000+920000]
Aug  8 20:28:46 srv kernel: php-fpm[6091]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffa00bd748 error 15 in php-fpm[f1f000+10000]
Aug  8 20:30:46 srv kernel: php-fpm[6089]: segfault at 59 ip 00000000007582b9 sp 00007fffa00bd6e8 error 4 in php-fpm[400000+920000]
Aug  8 20:32:47 srv kernel: php-fpm[6093]: segfault at 231ccb8 ip 000000000231ccb8 sp 00007fffa00bd748 error 15
Aug  8 20:34:48 srv kernel: php-fpm[6090]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffa00bd748 error 15 in php-fpm[f1f000+10000]
Aug  9 10:58:53 srv kernel: php-fpm[27417]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffa6073588 error 15 in php-fpm[f1f000+10000]
Aug  9 11:03:11 srv kernel: php-fpm[21304]: segfault at 59 ip 00000000007582b9 sp 00007fffa6073528 error 4 in php-fpm[400000+920000]
Aug  9 11:05:18 srv kernel: php-fpm[21302]: segfault at 2806e88 ip 0000000002806e88 sp 00007fffa6073588 error 15

при этом, процесс fpm`а грузит 1-2 ядра на 100%, а затем падает и клиены видят в браузере 504. Почему fpm не задействует остальные, свободные ядра?
nginx - Connetion timed out

Код: Выделить всё

Configure Command =>  './configure'  '--prefix=/usr/local/phpfpm' '--enable-fpm' '--with-fpm-user=phpfpm' '--with-fpm-group=phpfpm' '--disable-ipv6' '--with-zlib' '--enable-bcmath' '--with-bz2' '--with-mhash' '--enable-json' '--without-ldap' '--enable-mbstring' '--with-mcrypt' '--with-mysql' '--enable-pdo' '--enable-sqlite' '--disable-wddx' '--enable-zip' '--enable-ctype' '--with-pdo-mysql' '--enable-intl' '--with-xsl' '--with-jpeg-dir' '--with-gd' '--with-openssl' '--with-curl'

Поиски в инете ничего особо не дали. Рекомендуют попробывать отключить cache. Пробывали, результат тот же. При этом, такая же связка работает на другом сервере, и там таких ошибок не возникает.
Пробывал менять версию php с 5.4.5 до 5.4.0 - не помогло.
В чем может быть проблема?

Еще, небольшой вопрос в сторону ликбеза о работе fastcgi.
Возможно ли сделать так, чтобы documentroot был только на одном сервере, и не было бы необходимости его расополгать на сервере, куда я делаю fastcgi_pass для обработки php запросов? Например: есть сервак nginx который ловит http запросы, и за ним стоят еще два отдельных сервера с запущеным fpm. И что бы php скрипты обрабатывались теми серверами, необходимо чтобы на каждом из них, к примеру, была папка /var/www/project/script.php иначе будет сообщение

Код: Выделить всё

No input file specified

.

[taaroa]

Рекомендуют попробЫвать отключить cache. ПробЫвали, результат тот же. При этом, такая же связка работает на другом сервере, и там таких ошибок не возникает.

а там (на другом сервере) такое же железо и установлена такая же операционная система, т.е. centos? версии программного обеспечения (и там и там) совпадают?
железо (по части размера памяти) такое же?

ПробЫвал менять версию php с 5.4.5 до 5.4.0 - не помогло.
В чем может быть проблема?

попробУйте обратиться в тех.поддержку вашего дистрибутива. багзилла у centos имеется.

[BigBrother]

Да, система везде centos 6.2/6.3
Версии ПО одинаковые.
Железо разное.
Там где нет segfault - выделенный сервер centos 6.2 (8 ядер, 16ГБ ОЗУ) => 1 хостер
Там где есть segfault - один виртуальный сервер centos 6.2 (16 ядер, 12ГБ ОЗУ) и второй выделенный centos 6.3 (12 ядер 32ГБ ОЗУ) => 2 хостер.

[vr13]

Имеется проект на symfony 1.x, который крутится на centos 6, nginx 1.2.x и php-fpm 5.4 (+ APC cache).
Заметил, что на одном и серверов в /var/log/message переодически выскакивает

Код: Выделить всё

Aug  8 20:16:42 rezina-cc kernel: php-fpm[6082]: segfault at 7fa3b1f59031 ip 0000000000772639 sp 00007fffa00bd8a0 error 4 in php-fpm[400000+920000]
Aug  8 20:20:43 rezina-cc kernel: php-fpm[6095]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffa00bd748 error 15 in php-fpm[f1f000+10000]
...
Aug  9 11:05:18 rezina-cc kernel: php-fpm[21302]: segfault at 2806e88 ip 0000000002806e88 sp 00007fffa6073588 error 15

при этом, процесс fpm`а грузит 1-2 ядра на 100%, а затем падает и клиены видят в браузере 504. Почему fpm не задействует остальные, свободные ядра?

fpm - это пул серверов php, сколько этому пулу дали работы, столько процессоров он и задействует. по-умолчанию, php, сам по себе, потоки не организует, если только программировать специально

Пробывал менять версию php с 5.4.5 до 5.4.0 - не помогло.

попробуйте откатиться от 5.3.2 или еще ниже - symphony 1.x - это старый продукт, вполне вероятно с новыми версиями php это не было до конца протестировано

Еще, небольшой вопрос в сторону ликбеза о работе fastcgi.
Возможно ли сделать так, чтобы documentroot был только на одном сервере, и не было бы необходимости его расополгать на сервере, куда я делаю fastcgi_pass для обработки php запросов? Например: есть сервак nginx который ловит http запросы, и за ним стоят еще два отдельных сервера с запущеным fpm. И что бы php скрипты обрабатывались теми серверами, необходимо чтобы на каждом из них, к примеру, была папка /var/www/project/script.php иначе будет сообщение

Код: Выделить всё

No input file specified

любой fastcgi (безотносительно php-fpm) устроен очень просто: он вызывает указанный ему скрипт (в общем случае - любой исполняемый код), а все параметры берет из переменных окружения, приписываемых либо в location/server nginx, либо - в общей конфигурации - fastcgi.conf. соответственно, если у вас написано в nginx.conf что-нить типа:

Код: Выделить всё

...
     fastcgi_pass      192.168.1.1:8080;
     fastcgi_param     SCRIPT_FILENAME $document_root$fastcgi_script_name;
...

то на указанном сервере (там работает php-fpm) будет искаться указанный скрипт в указанной директории

[BigBrother]

fpm - это пул серверов php, сколько этому пулу дали работы, столько процессоров он и задействует. по-умолчанию, php, сам по себе, потоки не организует, если только программировать специально

rlimit_core = 0

попробуйте откатиться от 5.3.2 или еще ниже - symphony 1.x - это старый продукт, вполне вероятно с новыми версиями php это не было до конца протестировано

1 сервер: symfony version 1.4.18 + php 5.4.0- работает нормально
2 сервер: symfony version 1.4.17 + php 5.4.5 (или 5.4.0) - возникают segfault`ы.
Специфика проектов на двух серверах одинакова.

[vr13]

fpm - это пул серверов php, сколько этому пулу дали работы, столько процессоров он и задействует. по-умолчанию, php, сам по себе, потоки не организует, если только программировать специально

rlimit_core = 0

а это причем?

попробуйте откатиться от 5.3.2 или еще ниже - symphony 1.x - это старый продукт, вполне вероятно с новыми версиями php это не было до конца протестировано

1 сервер: symfony version 1.4.18 + php 5.4.0- работает нормально
2 сервер: symfony version 1.4.17 + php 5.4.5 (или 5.4.0) - возникают segfault`ы.
Специфика проектов на двух серверах одинакова.

чудес не бывает: значит есть разница - либо в железках, либо в системных библиотеках, либо - "специфике проектов"

[vr13]

rlimit_core = 0

упоминание этого напомнило такую возможность: если поставить rlimit_core в unlimited и разрешить генерацию core dumps (/etc/security/limits.conf - не уверен что в centos/rhel находится тут, посмотрите limits.conf(5)), то можно получить backtrace php-fpm при падении и понять где споткнулся php-fpm: в своем коде или в какой-нить библиотеке: должно помочь в поиске причины проблемы

[BigBrother]

вот что удалось узнать через gdb

Код: Выделить всё

...
Program terminated with signal 11, Segmentation fault.
#0  0x00000000007582b9 in zend_hash_index_find (ht=0x2e75990, h=100, pData=0x7fff49018858) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:1021
1021            p = ht->arBuckets[nIndex];
(gdb) bt
#0  0x00000000007582b9 in zend_hash_index_find (ht=0x2e75990, h=100, pData=0x7fff49018858) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:1021
#1  0x00000000007b1e86 in zend_fetch_dimension_address_inner (result=0x7f6e657c9c08, container_ptr=<value optimized out>, dim=<value optimized out>, dim_type=<value optimized out>, type=0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute.c:1056
#2  zend_fetch_dimension_address_read (result=0x7f6e657c9c08, container_ptr=<value optimized out>, dim=<value optimized out>, dim_type=<value optimized out>, type=0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute.c:1258
#3  0x00000000007b30e6 in ZEND_FETCH_DIM_R_SPEC_VAR_CV_HANDLER (execute_data=0x7f6e657c9a58) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:20226
#4  0x00000000007b17f0 in execute (op_array=0x2e98c40) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:410
#5  0x00000000007407b4 in zend_call_function (fci=0x7fff49018a70, fci_cache=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:958
#6  0x00000000007414e0 in call_user_function_ex (function_table=<value optimized out>, object_pp=<value optimized out>, function_name=<value optimized out>,
    retval_ptr_ptr=<value optimized out>, param_count=<value optimized out>, params=<value optimized out>, no_separation=1, symbol_table=0x0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:750
#7  0x0000000000741532 in call_user_function (function_table=0x19b1c40, object_pp=<value optimized out>, function_name=<value optimized out>, retval_ptr=0x7fff49018b30,
    param_count=<value optimized out>, params=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:723
#8  0x00000000006603d0 in user_shutdown_function_call (shutdown_function_entry=0x25b7550) at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:4941
#9  0x0000000000758c95 in zend_hash_apply (ht=0x2b17010, apply_func=0x660380 <user_shutdown_function_call>) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:716
#10 0x0000000000661781 in php_call_shutdown_functions () at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:5033
#11 0x00000000006f26b9 in php_request_shutdown (dummy=<value optimized out>) at /usr/local/src/php-5.4.5/main/main.c:1718
#12 0x00000000007f90e3 in main (argc=<value optimized out>, argv=<value optimized out>) at /usr/local/src/php-5.4.5/sapi/fpm/fpm/fpm_main.c:1930

Код: Выделить всё

...
Program terminated with signal 11, Segmentation fault.
#0  0x0000000000f2d9a0 in iterator_object_handlers ()
(gdb) bt
#0  0x0000000000f2d9a0 in iterator_object_handlers ()
#1  0x00000000007cdd39 in zend_assign_to_variable (execute_data=0x7f6e657c9c68) at /usr/local/src/php-5.4.5/Zend/zend_execute.c:888
#2  ZEND_ASSIGN_SPEC_CV_VAR_HANDLER (execute_data=0x7f6e657c9c68) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:33100
#3  0x00000000007b17f0 in execute (op_array=0x22b5270) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:410
#4  0x00000000007407b4 in zend_call_function (fci=0x7fff49018a70, fci_cache=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:958
#5  0x00000000007414e0 in call_user_function_ex (function_table=<value optimized out>, object_pp=<value optimized out>, function_name=<value optimized out>,
    retval_ptr_ptr=<value optimized out>, param_count=<value optimized out>, params=<value optimized out>, no_separation=1, symbol_table=0x0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:750
#6  0x0000000000741532 in call_user_function (function_table=0x19b1c40, object_pp=<value optimized out>, function_name=<value optimized out>, retval_ptr=0x7fff49018b30,
    param_count=<value optimized out>, params=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:723
#7  0x00000000006603d0 in user_shutdown_function_call (shutdown_function_entry=0x23aefd8) at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:4941
#8  0x0000000000758c95 in zend_hash_apply (ht=0x21de9e8, apply_func=0x660380 <user_shutdown_function_call>) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:716
#9  0x0000000000661781 in php_call_shutdown_functions () at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:5033
#10 0x00000000006f26b9 in php_request_shutdown (dummy=<value optimized out>) at /usr/local/src/php-5.4.5/main/main.c:1718
#11 0x00000000007f90e3 in main (argc=<value optimized out>, argv=<value optimized out>) at /usr/local/src/php-5.4.5/sapi/fpm/fpm/fpm_main.c:1930

Код: Выделить всё

Program terminated with signal 11, Segmentation fault.
#0  0x000000000076ad02 in gc_zval_possible_root (zv=0x7250690) at /usr/local/src/php-5.4.5/Zend/zend_gc.c:143
143                     GC_ZOBJ_CHECK_POSSIBLE_ROOT(zv);
(gdb) bt
#0  0x000000000076ad02 in gc_zval_possible_root (zv=0x7250690) at /usr/local/src/php-5.4.5/Zend/zend_gc.c:143
#1  0x00000000007cde48 in gc_zval_check_possible_root (execute_data=0x7f6e657c9c70) at /usr/local/src/php-5.4.5/Zend/zend_gc.h:183
#2  zend_assign_to_variable (execute_data=0x7f6e657c9c70) at /usr/local/src/php-5.4.5/Zend/zend_execute.c:912
#3  ZEND_ASSIGN_SPEC_CV_VAR_HANDLER (execute_data=0x7f6e657c9c70) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:33100
#4  0x00000000007b17f0 in execute (op_array=0x1f9fe50) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:410
#5  0x00000000007407b4 in zend_call_function (fci=0x7fff49018a70, fci_cache=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:958
#6  0x00000000007414e0 in call_user_function_ex (function_table=<value optimized out>, object_pp=<value optimized out>, function_name=<value optimized out>,
    retval_ptr_ptr=<value optimized out>, param_count=<value optimized out>, params=<value optimized out>, no_separation=1, symbol_table=0x0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:750
#7  0x0000000000741532 in call_user_function (function_table=0x19b1c40, object_pp=<value optimized out>, function_name=<value optimized out>, retval_ptr=0x7fff49018b30,
    param_count=<value optimized out>, params=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:723
#8  0x00000000006603d0 in user_shutdown_function_call (shutdown_function_entry=0x28f4fd8) at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:4941
#9  0x0000000000758c95 in zend_hash_apply (ht=0x1ec95a8, apply_func=0x660380 <user_shutdown_function_call>) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:716
#10 0x0000000000661781 in php_call_shutdown_functions () at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:5033
#11 0x00000000006f26b9 in php_request_shutdown (dummy=<value optimized out>) at /usr/local/src/php-5.4.5/main/main.c:1718
#12 0x00000000007f90e3 in main (argc=<value optimized out>, argv=<value optimized out>) at /usr/local/src/php-5.4.5/sapi/fpm/fpm/fpm_main.c:1930

Код: Выделить всё

Program terminated with signal 11, Segmentation fault.
#0  0x0000000002d5a8f0 in ?? ()
(gdb) bt
#0  0x0000000002d5a8f0 in ?? ()
#1  0x00000000007cdd39 in zend_assign_to_variable (execute_data=0x7f6e657c9ca0) at /usr/local/src/php-5.4.5/Zend/zend_execute.c:888
#2  ZEND_ASSIGN_SPEC_CV_VAR_HANDLER (execute_data=0x7f6e657c9ca0) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:33100
#3  0x00000000007b17f0 in execute (op_array=0x1f9fa38) at /usr/local/src/php-5.4.5/Zend/zend_vm_execute.h:410
#4  0x00000000007407b4 in zend_call_function (fci=0x7fff49018a70, fci_cache=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:958
#5  0x00000000007414e0 in call_user_function_ex (function_table=<value optimized out>, object_pp=<value optimized out>, function_name=<value optimized out>,
    retval_ptr_ptr=<value optimized out>, param_count=<value optimized out>, params=<value optimized out>, no_separation=1, symbol_table=0x0)
    at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:750
#6  0x0000000000741532 in call_user_function (function_table=0x19b1c40, object_pp=<value optimized out>, function_name=<value optimized out>, retval_ptr=0x7fff49018b30,
    param_count=<value optimized out>, params=<value optimized out>) at /usr/local/src/php-5.4.5/Zend/zend_execute_API.c:723
#7  0x00000000006603d0 in user_shutdown_function_call (shutdown_function_entry=0x2a31e98) at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:4941
#8  0x0000000000758c95 in zend_hash_apply (ht=0x1ec91c0, apply_func=0x660380 <user_shutdown_function_call>) at /usr/local/src/php-5.4.5/Zend/zend_hash.c:716
#9  0x0000000000661781 in php_call_shutdown_functions () at /usr/local/src/php-5.4.5/ext/standard/basic_functions.c:5033
#10 0x00000000006f26b9 in php_request_shutdown (dummy=<value optimized out>) at /usr/local/src/php-5.4.5/main/main.c:1718
#11 0x00000000007f90e3 in main (argc=<value optimized out>, argv=<value optimized out>) at /usr/local/src/php-5.4.5/sapi/fpm/fpm/fpm_main.c:1930

[KiWi]

Попробуйте отключить APC Cache.
Либо как минимум проверить его версию: должна быть не меньше 3.1.10(да, эта версия ещё beta): http://pecl.php.net/package-changelog.php?...;release=3.1.10

[BigBrother]

Попробуйте отключить APC Cache.

Не помогает.

Либо как минимум проверить его версию: должна быть не меньше 3.1.10(да, эта версия ещё beta): http://pecl.php.net/package-changelog.php?...;release=3.1.10

На другом сервер такой же apc, и проблем нет, только железо и немного коды отличаются.
А дистрибутивы на сайте apc какие-то странные. Скачал и подключил 3.1.10, а пхп определяет его как 3.1.9. Через apc.php смотрю, доступна новая, stable, версия, захожу на сайт, а там написано что еще beta.

[vr13]

На другом сервер такой же apc, и проблем нет, только железо и немного коды отличаются.

в приведенном выше backtrace видно, что падает в коде php. а если прикладной код отличается, это вполне может быть причиной проблемы. поменяйте местами приложения, может станет понятнее? про железо я бы думал не в первую очередь

[BigBrother]

Проблема выяснилась.
В php отправляются сильно большие запросы. При этом, поведение fpm и mod_php разные.
fpm

Код: Выделить всё

Sep  1 15:21:24 srv kernel: php-fpm[26343]: segfault at f2d9a0 ip 0000000000f2d9a0 sp 00007fffccca4cd8 error 15 in php-fpm[f1f000+10000]

mod_php

Код: Выделить всё

500 Internal Server Error