Караул. Как установить netfs для Centos7

[kerogaz]

Вот состояние демона netfs на рабочем узле CentOS-6 и ARC его подхватывает. А если в CentOS-7 этого демона нет вообще, и в то же время /home непонятно как расшаривается, то что будет видеть ARC? Будем смотреть на следующей неделе, когда поставим Torque

Код: Выделить всё

service netfs status
Active NFS mountpoints:
/home

Если узла в системе не видно, то я первым делом смотрю на состояние демона netfs , а если в CentOS-7 этого демона нет,то что смотреть?

[yars]

В седьмой CentOS-и mount-юниты systemd и обслуживающий их systemd-mountd. И да, сервис -- это некая абстракция над неким демоном.

[BigBrother]

В моем случае это система расрпеделенных вычислений ,которая объединяет примерно 25 стран, один том скажем находится в Швеции а другой в Великобритании и обмен частями скажем моей задачи между ними происходит автоматичсеки .

NFS такую задачу может не потянуть (или может?). Есть более специализированные решения: glusterfs, ceph, swift ...

[kerogaz]

Гемор продожаестя
Для того чтобы Torque -server работал на узлах надо установить на каждом узле pbs_mom (клиентская часть Torque) и запустить его
На узлах CentOS-6 всё нормально

Код: Выделить всё

service pbs_mom status
pbs_mom (pid 2097) is running..

А на CentOS-7 ...есть такакая индейская хижина

Код: Выделить всё

service pbs_mom start
Redirecting to /bin/systemctl start  pbs_mom.service
Failed to issue method call: Unit pbs_mom.service failed to load: No such file or directory.

Хотя клиентская часть утановилась успешно

Код: Выделить всё

yum install torque-client

Код: Выделить всё

yum list installed
torque.x86_64                                              4.2.10-5.el7                                          @epel
torque-client.x86_64                                       4.2.10-5.el7                                          @epel
torque-libs.x86_64                                         4.2.10-5.el7                                            @epel

[kerogaz]

Пробовал и так

Код: Выделить всё

service  torque-client start
Redirecting to /bin/systemctl start  torque-client.service
Failed to issue method call: Unit torque-client.service failed to load: No such file or directory.

И еще один гемор На CentOS-7 не могу посмотреть список запущенных сервисов

Код: Выделить всё

service --status-all
netconsole module not loaded
Configured devices:
lo enp2s0 enp3s0
Currently active devices:
lo enp3s0 enp2s0

А на CentOS-6 всё в порядке

Код: Выделить всё

service --status-all
abrt-ccpp hook is not installed
abrtd is stopped
abrt-dump-oops (pid 2082) is running...
acpid is stopped
atd is stopped
auditd (pid  1660) is running...
automount (pid  2019) is running...
certmonger is stopped
Stopped
cgred is stopped
Frequency scaling enabled using ondemand governor
crond is stopped
cupsd is stopped
hald (pid  1924) is running...
ip6tables: Firewall is not running.
iptables: Firewall is not running.
irqbalance (pid  1818) is running...
Kdump is not operational
max1617-i2c-0-18
Adapter: SMBus I801 adapter at 0400
temp1:        +0.0°C  (low  = +27.0°C, high = +67.0°C)
temp2:        +0.0°C  (low  =  -6.0°C, high =  +8.0°C)

max1617-i2c-0-1a
Adapter: SMBus I801 adapter at 0400
temp1:        +0.0°C  (low  = +27.0°C, high = +67.0°C)
temp2:        +0.0°C  (low  =  -6.0°C, high =  +8.0°C)

coretemp-isa-0000
Adapter: ISA adapter
Core 0:      +74.0°C  (high = +85.0°C, crit = +95.0°C)
Core 1:      +76.0°C  (high = +85.0°C, crit = +95.0°C)
Core 9:      +78.0°C  (high = +85.0°C, crit = +95.0°C)
Core 10:     +75.0°C  (high = +85.0°C, crit = +95.0°C)

coretemp-isa-0004
Adapter: ISA adapter
Core 0:      +66.0°C  (high = +85.0°C, crit = +95.0°C)
Core 1:      +64.0°C  (high = +85.0°C, crit = +95.0°C)
Core 9:      +69.0°C  (high = +85.0°C, crit = +95.0°C)
Core 10:     +68.0°C  (high = +85.0°C, crit = +95.0°C)

w83627dhg-isa-0a10
Adapter: ISA adapter
Vcore:       +0.90 V  (min =  +0.00 V, max =  +1.74 V)
in1:         +0.87 V  (min =  +1.97 V, max =  +0.97 V)   ALARM
AVCC:        +3.39 V  (min =  +2.98 V, max =  +3.63 V)
VCC:         +3.39 V  (min =  +2.98 V, max =  +3.63 V)
in4:         +1.14 V  (min =  +0.98 V, max =  +1.72 V)
in5:         +0.88 V  (min =  +1.97 V, max =  +1.86 V)   ALARM
in6:         +0.87 V  (min =  +1.85 V, max =  +0.58 V)   ALARM
3VSB:        +3.36 V  (min =  +2.98 V, max =  +3.63 V)
Vbat:        +3.23 V  (min =  +2.70 V, max =  +3.30 V)
fan1:          0 RPM  (min =  721 RPM, div = 16)  ALARM
fan2:          0 RPM  (min = 2057 RPM, div = 16)  ALARM
fan3:          0 RPM  (min = 1155 RPM, div = 16)  ALARM
fan5:          0 RPM  (min = 1834 RPM, div = 16)  ALARM
temp1:       +35.0°C  (high = -74.0°C, hyst = -67.0°C)  ALARM  sensor = thermistor
temp2:       -33.5°C  (high = +80.0°C, hyst = +75.0°C)  sensor = thermistor
temp3:       +32.5°C  (high = +80.0°C, hyst = +75.0°C)  sensor = thermistor
cpu0_vid:   +0.000 V

lvmetad is stopped
dmeventd is stopped
Checking for mcelog
mcelog (pid  2037) is running...
mdmonitor is stopped
messagebus (pid  1885) is running...
netconsole module not loaded
Active NFS mountpoints:
/home
Configured devices:
lo eth0 eth1
Currently active devices:
lo eth1
rpc.svcgssd is stopped
rpc.mountd is stopped
nfsd is stopped
rpc.rquotad is stopped
rpc.statd (pid  1858) is running...
grep: /proc/fs/nfsd/portlist: No such file or directory
ntpd (pid  2072) is running...
numad is stopped
oddjobd is stopped
pbs_mom (pid 2097) is running...
portreserve is stopped
master is stopped
Process accounting is disabled.
quota_nld is stopped
rdisc is stopped
Low level hardware support loaded:
    none found

Upper layer protocol modules:
    none found

User space access modules:
    none found

Connection management modules:
    none found

restorecond is stopped
rngd is stopped
rpcbind (pid  1836) is running...
rpc.gssd is stopped
rpc.idmapd is stopped
rpc.svcgssd is stopped
rsyslogd (pid  1682) is running...
sandbox is stopped
saslauthd is stopped
smartd is stopped
openssh-daemon (pid  27083) is running...
sssd is stopped
trqauthd dead but subsys locked
winbindd is stopped
ypbind is stopped
Nightly yum update is enabled.

Хотя тоже с каким-то косяком

Код: Выделить всё

service --status-all | grep pbs_mom
grep: /proc/fs/nfsd/portlist: No such file or directory
pbs_mom (pid 2097) is running..

[kerogaz]

Нашел разницу, на CentOS7 yum не установил torque4-mom.x86_64

Код: Выделить всё

yum list installed | grep torque
torque.x86_64                    4.2.10-5.el7                          @epel
torque-client.x86_64             4.2.10-5.el7                          @epel
torque-libs.x86_64               4.2.10-5.el7                          @epel

А это на узле CentOS -6:

Код: Выделить всё

yum list installed | grep torque*
torque4.x86_64                      4.2.4.1-16.sdl6                    @/torque4-4.2.4.1-16.sdl6.x86_64
torque4-client.x86_64               4.2.4.1-16.sdl6                    @/torque4-client-4.2.4.1-16.sdl6.x86_64
torque4-libs.x86_64                 4.2.4.1-16.sdl6                    @/torque4-libs-4.2.4.1-16.sdl6.x86_64
torque4-mom.x86_64                  4.2.4.1-16.sdl6                    @/torque4-mom-4.2.4.1-16.sdl6.x86_64

[kerogaz]

Собрал вручную

Код: Выделить всё

torque.x86_64                    4.2.10-5.el7                          @epel
torque-client.x86_64             4.2.10-5.el7                          @epel
torque-libs.x86_64               4.2.10-5.el7                          @epel
torque-mom.x86_64                4.2.10-5.el7                          @epel

Но теперь что-то с сокетами

Код: Выделить всё

service pbs_mom status
Redirecting to /bin/systemctl status  pbs_mom.service
pbs_mom.service - pbs-mom
   Loaded: loaded (/usr/lib/systemd/system/pbs_mom.service; disabled)
   Active: active (running) since Пнд 2015-09-28 02:52:05 EDT; 5min ago
  Process: 2543 ExecStart=/usr/sbin/pbs_mom (code=exited, status=0/SUCCESS)
 Main PID: 2545 (pbs_mom)
   CGroup: /system.slice/pbs_mom.service
           └─2545 /usr/sbin/pbs_mom

Сен 28 02:55:05 node4 pbs_mom[2589]: LOG_ERROR::tcp_connect_sockaddr, Failed when trying to open tcp connectio...15001]
Сен 28 02:55:05 node4 pbs_mom[2589]: LOG_ERROR::send_update_to_a_server, Could not contact any of the servers ...update
Сен 28 02:55:05 node4 pbs_mom[2589]: LOG_ERROR::send_update_to_a_server, Status not successfully updated for 5...ervals
Сен 28 02:55:50 node4 pbs_mom[2598]: LOG_ERROR::tcp_connect_sockaddr, Failed when trying to open tcp connectio...15001]
Сен 28 02:55:50 node4 pbs_mom[2598]: LOG_ERROR::send_update_to_a_server, Could not contact any of the servers ...update
Сен 28 02:55:50 node4 pbs_mom[2598]: LOG_ERROR::send_update_to_a_server, Status not successfully updated for 6...ervals
Сен 28 02:56:35 node4 pbs_mom[2702]: LOG_ERROR::tcp_connect_sockaddr, Failed when trying to open tcp connectio...15001]
Сен 28 02:56:35 node4 pbs_mom[2702]: LOG_ERROR::send_update_to_a_server, Could not contact any of the servers ...update
Сен 28 02:56:35 node4 pbs_mom[2702]: LOG_ERROR::send_update_to_a_server, Status not successfully updated for 7...ervals
Сен 28 02:57:04 node4 systemd[1]: Started pbs-mom.
Hint: Some lines were ellipsized, use -l to show in full.

Я смотрю CentOS-7 пока ещё геморный, впрочем как каким был был и 6.0, а начиная с 6.2 СentOS стал нормальным

[kerogaz]

Ну в общем на узле с CentOS-7 pbs_mom распараллеливает задачи а NFS работает и без демона netfs. А связь с pbs_server и ARC уже другой вопрос. Пока всё Спасибо всем

[yars]

На 7-ке service уже deprecated. Новостей не слышали? Systemd у вас там. Пользуйтесь systemctl.

[kerogaz]

В общем после долгих поисков получил

Код: Выделить всё

Сен 29 07:07:27 node4 pbs_mom[2387]: LOG_ERROR::mom_server_update_stat, Couldn't read a reply from the server
Сен 29 07:08:12 node4 pbs_mom[2393]: LOG_ERROR::read_tcp_reply, Mismatching protocols. Expected protocol 4 but read reply for 0

А это как пишет один из пользователей, на версиях pbs_mom 4.2.5 и выше из-за коротких имен хоста. У меня все остальные узлы на более низких версиях, поэтомуэтого нет.Бред какой-то
http://linuxtoolkit.blogspot.com/2014/03/p...-protocols.html

[kerogaz]

На 7-ке service уже deprecated. Новостей не слышали? Systemd у вас там. Пользуйтесь systemctl.

Как это dprecated, а что же я набираю?
Было:

Код: Выделить всё

service pbs_mom status

Стало:

Код: Выделить всё

systemctl status  pbs_mom.service

Или так

Код: Выделить всё

systemctl status  pbs_mom
pbs_mom.service - pbs-mom
   Loaded: loaded (/usr/lib/systemd/system/pbs_mom.service; enabled)
   Active: active (running) since Вто 2015-09-29 07:05:57 EEST; 1h 3min ago
 Main PID: 2310 (pbs_mom)
   CGroup: /system.slice/pbs_mom.service
           └─2310 /usr/sbin/pbs_mom

В общем те же яйца только в профиль, в строке команды поменяли местами слова и добавили . service .Склепали о принципу:когда собаке делать нечего она себе что-то лижет

Явно семёрка решила повторить судбу виндовой Висты

[Bizdelnick]

Как это dprecated, а что же я набираю?

http://www.multitran.ru/c/m.exe?CL=1&s...ecated&l1=1

[s.xbatob]

В общем те же яйца только в профиль, в строке команды поменяли местами слова и добавили . service .Склепали о принципу:когда собаке делать нечего она себе что-то лижет

Как всё запущено! Всё поменялось гораздо радикальнее. чем кое-кому кажется.
В новой системе инициализации всё гораздо стройнее и удобнее. Теперь systemd сам управляет сервисами, аккуратно их запускает - в затребованной последовательности и с зависимостями. А ещё он их аккуратно останавливает и следит за их здоровьем и предпринимает разумные действия в случае нештатных ситуаций.
Соответственно, описание сервиса - это теперь действительно описание, а не скрипт-костыль, делающий всё врукопашную в меру своего разумения и линкуемый в дюжину мест.

[kerogaz]

В общем те же яйца только в профиль, в строке команды поменяли местами слова и добавили . service .Склепали о принципу:когда собаке делать нечего она себе что-то лижет

Как всё запущено! Всё поменялось гораздо радикальнее. чем кое-кому кажется.
В новой системе инициализации всё гораздо стройнее и удобнее. Теперь systemd сам управляет сервисами, аккуратно их запускает - в затребованной последовательности и с зависимостями. А ещё он их аккуратно останавливает и следит за их здоровьем и предпринимает разумные действия в случае нештатных ситуаций.
Соответственно, описание сервиса - это теперь действительно описание, а не скрипт-костыль, делающий всё врукопашную в меру своего разумения и линкуемый в дюжину мест.

Да уж, стройно, особенно "удобно" смотреть chkconig --list

Код: Выделить всё

chkconfig --list

Внимание: в выводе отображены только SysV службы (нативные службы systemd отсутствуют)
      конфигурация SysV  может быть сброшена нативной
      конфигураией systemd.

Для получения списка служб systemd выполните «systemctl list-unit-files».
Для просмотра служб для конкретного объекта выполните
«systemctl list-dependencies [объект]».

netconsole         0:выкл    1:выкл    2:выкл    3:выкл    4:выкл    5:выкл    6:выкл
network            0:выкл    1:выкл    2:вкл    3:вкл    4:вкл    5:вкл    6:выкл

Вместо этого надо набрать такой гемор:

Код: Выделить всё

systemctl list-unit-files

Неужели chkconig --list был сложнее чем systemctl list-unit-files?
Обнадёживает лишь то что критическая поддержка CentOS-6 по 30 ноября 2020. А к тому времени может CentOS-7 быстро починетв Бозе , как Vista ,и начнется CentOS-8

[kerogaz]

Кроме того torque скачивается только через git
http://docs.adaptivecomputing.com/torque/5...llingTorque.htm

а если git не установлен то скачанныйc помощью wget тарбол просто не разархивируется (пишет что файл не gz)

[yars]

А как же сторонние репозитории? CentOS же есть клон RHEL, только более свободный. Что в итоге хотите получить? Ну а тарбол скормите file и затем определенному им компрессору.

[kerogaz]

Я ради ради чистоты экcперимента поставил pbs_server и pbs_mom 5.1.1 на свой компьютер с CentOS7

То же самое:

Код: Выделить всё

Вот протокол для МОМ

systemctl status pbs_mom.service

pbs_mom.service - TORQUE pbs_mom daemon
   Loaded: loaded (/usr/lib/systemd/system/pbs_mom.service; enabled)
   Active: active (running) since Срд 2015-09-30 08:23:16 EEST; 9s ago
  Process: 32145 ExecStart=/usr/local/sbin/pbs_mom -d /var/spool/torque (code=exited, status=0/SUCCESS)
 Main PID: 32146 (pbs_mom)
   CGroup: /system.slice/pbs_mom.service
           └─32146 /usr/local/sbin/pbs_mom -d /var/spool/torque

Сен 30 08:23:16 centos7 systemd[1]: Started TORQUE pbs_mom daemon.
Сен 30 08:23:17 centos7 pbs_mom[32149]: LOG_ERROR::read_tcp_reply, Mismatching protocols. Expected protocol 4 b...for 0
Сен 30 08:23:17 centos7 pbs_mom[32149]: LOG_ERROR::read_tcp_reply, Could not read reply for protocol 4 command ... File
Сен 30 08:23:17 centos7 pbs_mom[32149]: LOG_ERROR::mom_server_update_stat, Couldn't read a reply from the server
Сен 30 08:23:17 centos7 pbs_mom[32149]: LOG_ERROR::send_update_to_a_server, Could not contact any of the server...pdate
Hint: Some lines were ellipsized, use -l to show in full.

А вот для PBS_SERVER

[[code]root@centos7 torque-5.1.1.2-1_18e4a5f1]# systemctl status pbs_server.service -l

pbs_server.service - TORQUE pbs_server daemon
   Loaded: loaded (/usr/lib/systemd/system/pbs_server.service; enabled)
   Active: active (running) since Срд 2015-09-30 08:21:13 EEST; 2min 49s ago
 Main PID: 32094 (pbs_server)
   CGroup: /system.slice/pbs_server.service
           └─32094 /usr/local/sbin/pbs_server -d /var/spool/torque

Сен 30 08:21:13 centos7 systemd[1]: Started TORQUE pbs_server daemon.
Сен 30 08:23:17 centos7 PBS_Server[32094]: LOG_ERROR::svr_is_request, bad attempt to connect from 10.44.4.200:555 (address not trusted - check entry in server_priv/nodes)

GПо поводу последней строки нужно отметить, что в /var/spool/torque/server_priv нет вообще строки nodes

[kerogaz]

А как же сторонние репозитории? CentOS же есть клон RHEL, только более свободный. Что в итоге хотите получить? Ну а тарбол скормите file и затем определенному им компрессору.

yum по умолчанию устанавливает версию 4.2.10. А отсюда http://www.adaptivecomputing.com/wpfb-file...ba25d92-tar-gz/ скачался 5.1.1, нормальный тарбол (6Мб)
Разархивируется. Но результат тот же . Вот я и думаю, продолжать морочиться с семёркой или поставить Сент6 и работающий с ней Torque который я ставил отсюда http://springdale.math.ias.edu/data/puias/...nal/6.4/x86_64/

[Bizdelnick]

address not trusted - check entry in server_priv/nodes

Проверили?

[kerogaz]

Этот pbs_mom, установленный из тарбола http://www.adaptivecomputing.com/wpfb-file...ba25d92-tar-gz/ работает нормально с пакетом pbs_server 4.2.4 Принстонского университета. А torque 4.2.10 установленный yum на узле с CentOS-7 не работает. Причем yum устанавливает только pbs_server , а pbs_mom надо догадаться самому поставить. В тарболе же всё имеетсяя сразу Так что пока всё работает несмотря на разные версии