Странности с LVM в Centos7

[volnorez]

Помогите, разобраться с проблемой. Только поставил чистый centos minimal. имею 5 дисков, сделал R5 на них - в итоге имею устройство /dev/md0 Шагом 2 - хочу побить это пространство на разделы LVM и отдать в виртуализацию KVM. Но не получается. После рестарта KVM не видит пул LVM. И утилиты lvdisplay pvdisplay ничего не видят.
Далее вывод из виртуалки с 2мя дисками, но смысл тот же. Уже поставил SSM и им создавал, но он до перезагрузки видит LVM разделы, а после - нет.
на /dev/md0 создал раздел md0p1 тип 8е- lvm раздел
На тестовой создавал раздел smm-ом, на железной lvcreate, ситуация аналогичная.
ssm create -s 100M -n test -p mypool /dev/md0p1
после этой команды видим в ssm все как надо, но после перезагрузки:

[root@testmashine ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 8G 0 disk
├─sda1 8:1 0 512M 0 part /boot
├─sda2 8:2 0 6G 0 part /
└─sda3 8:3 0 1.5G 0 part [SWAP]
sdb 8:16 0 1G 0 disk
└─sdb1 8:17 0 1023M 0 part
└─md0 9:0 0 1022M 0 raid1
└─md0p1 259:0 0 1021M 0 md
└─mypool-test 253:0 0 100M 0 lvm /mnt
sdc 8:32 0 1G 0 disk
└─sdc1 8:33 0 1023M 0 part
└─md0 9:0 0 1022M 0 raid1
└─md0p1 259:0 0 1021M 0 md
└─mypool-test 253:0 0 100M 0 lvm /mnt
[root@testmashine ~]# lvdisplay
[root@testmashine ~]# ssm list
--------------------------------------------------------------
Device Free Used Total Pool Mount point
--------------------------------------------------------------
/dev/md0p1 1021.00 MB
/dev/sda 8.00 GB PARTITIONED
/dev/sda1 512.00 MB /boot
/dev/sda2 6.00 GB /
/dev/sda3 1.50 GB SWAP
/dev/sdb 1.00 GB
/dev/sdb1 0.00 KB 1022.00 MB 1023.00 MB md
/dev/sdc 1.00 GB
/dev/sdc1 0.00 KB 1022.00 MB 1023.00 MB md
--------------------------------------------------------------
---------------------------------------------------------------------------
Volume Pool Volume size FS FS size Free Type Mount point
---------------------------------------------------------------------------
/dev/md0 md 1022.00 MB raid1
/dev/sda1 512.00 MB xfs 508.67 MB 356.80 MB part /boot
/dev/sda2 6.00 GB xfs 5.99 GB 4.88 GB part /
---------------------------------------------------------------------------
Может поменялось что, или.. не могу накопать информации. Кто в курсе?

[Bizdelnick]

Вы что-то пропустили не то в описании, не то вообще. pvcreate, vgcreate делали?

[volnorez]

да, на железной делал. На тестовой smm за тебя все сам делает. Но результат един.

[Bizdelnick]

Вот тут читали? Вроде похожая проблема, с той разницей, что RAID1; в конце есть решение, которое ТС так и не опробовал.

[volnorez]

как шпаргалкой сайтом xgu.ru пользуюсь, не раз делал уже такое на centos 6 , как рах с pvcreale, vgcreate .. и все работало. Конечно на новой инсталяции пошел по тому же пути и... загвоздочка. pvdisplay, vgdisplay, lvdisplay -не выводят ничего. Хотя они создают структуру - и из листинга видно что даже вот подмонтировано и работает. Но ни ssm ни утилиты LVM не видят LVM разделов, а lsblk видит!

[volnorez]

да, читал, там с загрузкой борьба на программном рейд.

[Bizdelnick]

Делали то, что там написано? Суть в том, что массив должен собраться раньше, чем будет выполнен поиск томов LVM, а у Вас, похоже, происходит наоборот.

[volnorez]

идея о том что возможно lvm подсистема стартует раньше рейда и поэтому не видится.. интересная мысль,
я провел эксперимент -
сделал файловую систему на LVM томе, который не вижу и не могу удалить,
Добавил в fstab и перегрузился.
В итоге - монтирование произвелось, но по прежнему я не могу воспользоваться ни lvremove ни lvdisplay
следующим сообщением вывалю весь листинг по шагам что делал.

Добавлено (16:32):

Установил чисты centos7
ВАЖНО!! - диск системный разбивал без использования LVM, только standart partitions
-Добавил 2 диска в виртуалку по 1Г

fdisk /dev/sdb
fdisk /dev/sdb
создал по одному разделу тип FD
yum install -y mdadm
mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdc1[1] sdb1[0]
1046528 blocks super 1.2 [2/2] [UU]
unused devices: <none>

yum install -y lvm2

[root@localhost ~]# pvcreate /dev/md0
Physical volume "/dev/md0" successfully created.

[root@localhost ~]# pvdisplay
"/dev/md0" is a new physical volume of "1022.00 MiB"
--- NEW Physical volume ---
PV Name /dev/md0
VG Name
PV Size 1022.00 MiB
--ок все - обрезал чуть

[root@localhost ~]# vgcreate mypool /dev/md0
Volume group "mypool" successfully created
[root@localhost ~]# vgdisplay
--- Volume group ---
VG Name mypool
System ID
Format lvm2
--ок все - обрезал чуть

lvcreate -L100 -n testlv mypool
Logical volume "testlv" created.
[root@localhost ~]# lvdisplay
--- Logical volume ---
LV Path /dev/mypool/testlv
LV Name testlv
VG Name mypool
LV UUID rVTiS9-4DGQ-Bhex-fKm1-q0OX-NeTs-bJG2ka
--ок все - обрезал чуть

shutdown -r now

Смотрим что получилось после перезапуска

[root@localhost ~]# lvdisplay
[root@localhost ~]# pvdisplay
[root@localhost ~]# vgdisplay
--???? ничего не выводят!
[root@localhost ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 2G 0 disk
├─sda1 8:1 0 512M 0 part /boot
├─sda2 8:2 0 1.4G 0 part /
└─sda3 8:3 0 100M 0 part [SWAP]
sdb 8:16 0 1G 0 disk
└─sdb1 8:17 0 1023M 0 part
└─md0 9:0 0 1022M 0 raid1
└─mypool-testlv 253:0 0 100M 0 lvm
sdc 8:32 0 1G 0 disk
└─sdc1 8:33 0 1023M 0 part
└─md0 9:0 0 1022M 0 raid1
└─mypool-testlv 253:0 0 100M 0 lvm

Но все же есть мой LVM
Проверим больше?
[root@localhost ~]# mkfs.xfs /dev/mypool/testlv
meta-data=/dev/mypool/testlv isize=256 agcount=4, agsize=6400 blks
= sectsz=512 attr=2, projid32bit=1
= crc=0 finobt=0
--ок все - обрезал чуть

[root@localhost ~]# mount /dev/mypool/testlv /mnt
[root@localhost ~]# df
Filesystem 1K-blocks Used Available Use% Mounted on
--ок все - обрезал чуть
tmpfs 50080 0 50080 0% /run/user/0
/dev/mapper/mypool-testlv 98988 5280 93708 6% /mnt

и работает!, а если удалять?
[root@localhost ~]# lvremove /dev/mypool/testlv
Volume group "mypool" not found
Cannot process volume group mypool

???? Где я лох?
а будет ли автоматом монтироваться ?

[root@localhost ~]# blkid
/dev/mapper/mypool-testlv: UUID="9d4c9949-6b0e-4836-88e4-cc64a4975891" TYPE="xfs"

добавим в fstab
UUID=9d4c9949-6b0e-4836-88e4-cc64a4975891 /mnt xfs defaults 0 0
mount -a - отработал

shutdown -r now

Смотрим:
[root@localhost ~]# df -h
/dev/mapper/mypool-testlv 97M 5.2M 92M 6% /mnt
монтирование происходит.

Добавлено (16:41):

Ладно пофиг с утилитами.
Задача была в том чтобы KVM увидел LVM пул. После рестарта он его не видит - требуется запустить его, - выпадает с ошибкой - нет такого пула . Но если на этом же пуле создать небольшой раздел, и в fstab его монтировать куда нить при старте системы, то и KVM поднимается с запущенным этим пулом и все ОК. Это костыль. Как заставить LVM стартовать без такого костыля?

Добавлено (16:43):

После такого костыля на железной машине заработал lvdisplay
на тестовой - нет
уже перестаю понимать.

[Bizdelnick]

Могу только процитировать рецепт по ссылке, данной выше:
mdadm --examine --scan >> /etc/mdadm.conf
dracut --mdadmconf --fstab --add="mdraid" --filesystems "xfs ext4 tmpfs devpts sysfs proc" --add-drivers="raid456" --force --regenerate-all -M (эту команду слегка подправил)
Но я не могу гарантировать его корректность. Кстати, не исключено, что в Вашем случае первого пункта будет достаточно.

[volnorez]

Мне кажется я немного локализовал проблему.
Сделал еще один LVM раздел на другом диске. После перезагрузки все lvm утилиты работают, такие как lvdisplay, но не на рейде.
Что делал:
по прежнему имеем RAID5,
на md0 создаю отдельную партицию для установки типа LVM
fdisk /dev/md0
тип выбираю 31
# Start End Size Type Name
1 5120 19533813726 9.1T Linux LVM
далее
pvcreate /dev/md0p1
[root@test ~]# pvdisplay
--- Physical volume ---
PV Name /dev/md0p1
-----
-ок, все создалось.
после перезагрузки pvdisplay уже ничего не выводит, и можно заново этими же командами создавать pv

Итого - не сохраняется информация о PV. Еще интересно
[root@еуые ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 1.8T 0 disk
└─sda1 8:1 0 1.8T 0 part
└─md0 9:0 0 9.1T 0 raid5
└─md0p1 259:1 0 9.1T 0 md
sdb 8:16 0 1.8T 0 disk
└─sdb1 8:17 0 1.8T 0 part
└─md0 9:0 0 9.1T 0 raid5
└─md0p1 259:1 0 9.1T 0 md
____
мой раздел тип 31 - витится как md
при этом раздел на другом диске, эта утилита видит верно
sdg 8:96 0 223.6G 0 disk
-----
└─sdg3 8:99 0 7.3G 0 part
└─centos_kvm-swap 253:0 0 7.3G 0 lvm [SWAP]

[Bizdelnick]

не сохраняется информация о PV

IMHO таки сохраняется (собственно, кроме самого тома она и не должна нигде сохраняться), а именно не находится при загрузке из-за неготовности массива.

[volnorez]

но тогда почему прописаный в fstab lvm раздел монтируется и нормально работает?
mdadm --examine --scan >> /etc/mdadm.conf - не помогло,
попробую dracut.....

[s.xbatob]

а что за массив? Настоящий массив обслуживает свой контроллер и весьма недешёвый. А то, что нам сейчас предлагают -- обманка.

[Bizdelnick]

а что за массив?

mdraid же.

[s.xbatob]

а что за массив?

mdraid же.

То есть совсем soft. Не считается.