Восстановление LVM2

Erema395 · Сообщение **Erema395** » 29.05.2019 02:59

Был LVM2 На 2х дисках, SAS на 300гб и SATA на 3Тб, саташный диск инициализировали в Windows, есть ли возможность восстановить работоспособность LVM2 при наличии бэкапа метаданных?

Сообщение **Bizdelnick** » 29.05.2019 09:44

Что значит «инициализировали»?

Erema395 · Сообщение **Erema395** » 29.05.2019 10:08

Подключили диск к системе с установленной Виндой, открыли diskmgmt.msc, им сказали, что нужно инициализировать диск в GPT, они согласились. И либо не тот диск привезли, либо затёрлась таблица разделов.

Добавлено (10:22):

Вот что говорят vgscan и vgdispay
admins@admins-All-Series:~$ sudo vgscan
[sudo] пароль для admins:
Reading volume groups from cache.
WARNING: Device for PV NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG not found or rejected by a filter.
Found volume group "pve" using metadata type lvm2
admins@admins-All-Series:~$ sudo vgdisplay
WARNING: Device for PV NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG not found or rejected by a filter.
--- Volume group ---
VG Name pve
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 34
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 9
Open LV 0
Max PV 0
Cur PV 2
Act PV 1
VG Size 3,00 TiB
PE Size 4,00 MiB
Total PE 786856
Alloc PE / Size 596822 / <2,28 TiB
Free PE / Size 190034 / 742,32 GiB
VG UUID 0NT07Z-8i3b-Esf1-oUeF-uM5W-8VLn-Tho8l6

Добавлено (10:28):

Данные из бэкапа

Spoiler

# Generated by LVM2 version 2.02.168(2) (2016-11-30): Wed Nov 22 12:48:37 2017

contents = "Text Format Volume Group"
version = 1

description = "Created *after* executing '/sbin/lvcreate -aly -V 209715200k --name vm-105-disk-1 --thinpool pve/data'"

creation_host = "pve" # Linux pve 4.10.17-2-pve #1 SMP PVE 4.10.17-19 (Fri, 4 Aug 2017 13:34:37 +0200) x86_64
creation_time = 1511340517 # Wed Nov 22 12:48:37 2017

pve {
id = "0NT07Z-8i3b-Esf1-oUeF-uM5W-8VLn-Tho8l6"
seqno = 34
format = "lvm2" # informational
status = ["RESIZEABLE", "READ", "WRITE"]
flags = []
extent_size = 8192 # 4 Megabytes
max_lv = 0
max_pv = 0
metadata_copies = 0

physical_volumes {

pv0 {
id = "V5FFPZ-pBO1-GQXr-eB9w-62PM-cHyR-OvXweO"
device = "/dev/sdc" # Hint only

status = ["ALLOCATABLE"]
flags = []
dev_size = 585409083 # 279.145 Gigabytes
pe_start = 2048
pe_count = 71460 # 279.141 Gigabytes
}

pv1 {
id = "NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG"
device = "/dev/sda" # Hint only

status = ["ALLOCATABLE"]
flags = []
dev_size = 5860533168 # 2.72902 Terabytes
pe_start = 2048
pe_count = 715396 # 2.72902 Terabytes
}
}

logical_volumes {

swap {
id = "6YkDpY-mXTb-k52d-MHkp-FdUc-F98D-k5dHcl"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1508325712 # 2017-10-18 15:21:52 +0400
creation_host = "proxmox"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 2048 # 8 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 0
]
}
}

root {
id = "bScAdj-OSu8-cBfX-nmAA-slbH-47qK-WXlxmB"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1508325712 # 2017-10-18 15:21:52 +0400
creation_host = "proxmox"
segment_count = 3

segment1 {
start_extent = 0
extent_count = 17856 # 69.75 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 2048
]
}
segment2 {
start_extent = 17856
extent_count = 4046 # 15.8047 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 67414
]
}
segment3 {
start_extent = 21902
extent_count = 258098 # 1008.2 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv1", 0
]
}
}

data {
id = "y3ptKX-8H8Q-0ikF-cdRj-Sm9i-A1rn-QUvBb1"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1508325713 # 2017-10-18 15:21:53 +0400
creation_host = "proxmox"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 309606 # 1.18105 Terabytes

type = "thin-pool"
metadata = "data_tmeta"
pool = "data_tdata"
transaction_id = 11
chunk_size = 256 # 128 Kilobytes
discards = "passdown"
zero_new_blocks = 1
}
}

vm-100-disk-1 {
id = "vv1txq-fQJ0-4zuL-Vbl8-zzaM-MJQW-jw4GOf"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1510915689 # 2017-11-17 14:48:09 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 25600 # 100 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 2
device_id = 1
}
}

vm-101-disk-1 {
id = "hTFC0T-Js9x-6j20-HWX0-ZsY2-RXgu-4rgvkq"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1510907797 # 2017-11-17 12:36:37 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 25600 # 100 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 3
device_id = 2
}
}

vm-104-disk-1 {
id = "eUJ14V-A2ta-gO7J-aASY-Wdb7-raXY-3swQmC"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1510932901 # 2017-11-17 19:35:01 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 38400 # 150 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 4
device_id = 3
}
}

vm-104-disk-2 {
id = "BSD2d0-ZXyG-WqcT-49fK-Am0I-fDkS-FJYUxx"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1510932902 # 2017-11-17 19:35:02 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 38400 # 150 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 5
device_id = 4
}
}

vm-111-disk-1 {
id = "FjsDlB-m6iK-xDmL-kdu8-WETy-CU7C-goLe4V"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1510969686 # 2017-11-18 05:48:06 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 51200 # 200 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 8
device_id = 6
}
}

vm-105-disk-1 {
id = "o6osXV-OQda-nKNq-FAL8-XfN3-43Zk-K6Vvcd"
status = ["READ", "WRITE", "VISIBLE"]
flags = []
creation_time = 1511340517 # 2017-11-22 12:48:37 +0400
creation_host = "pve"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 51200 # 200 Gigabytes

type = "thin"
thin_pool = "data"
transaction_id = 10
device_id = 7
}
}

data_tdata {
id = "bIWoHE-CGjs-4629-WYih-7qgx-iLww-j1iBE2"
status = ["READ", "WRITE"]
flags = []
creation_time = 1508325713 # 2017-10-18 15:21:53 +0400
creation_host = "proxmox"
segment_count = 2

segment1 {
start_extent = 0
extent_count = 47462 # 185.398 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 19904
]
}
segment2 {
start_extent = 47462
extent_count = 262144 # 1024 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv1", 258098
]
}
}

data_tmeta {
id = "COdQH8-dYlt-7CeS-0tsQ-120A-4c2r-OODqqd"
status = ["READ", "WRITE"]
flags = []
creation_time = 1508325713 # 2017-10-18 15:21:53 +0400
creation_host = "proxmox"
segment_count = 2

segment1 {
start_extent = 0
extent_count = 24 # 96 Megabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 67366
]
}
segment2 {
start_extent = 24
extent_count = 5120 # 20 Gigabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv1", 520242
]
}
}

lvol0_pmspare {
id = "G3ECNb-hsrd-nfIk-GbKg-ZmV1-JpLP-tBjOvr"
status = ["READ", "WRITE"]
flags = []
creation_time = 1508325713 # 2017-10-18 15:21:53 +0400
creation_host = "proxmox"
segment_count = 1

segment1 {
start_extent = 0
extent_count = 24 # 96 Megabytes

type = "striped"
stripe_count = 1 # linear

stripes = [
"pv0", 67390
]
}
}
}

}

Добавлено (10:43):

Собственно, что по разделам

Spoiler

Диск /dev/sdb: 2 TiB, 2199023254528 байт, 4294967294 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: gpt
Идентификатор диска: A3DD4C1D-97FC-4B1D-BB71-F251854D3675

Диск /dev/sdd: 279,4 GiB, 300000000000 байт, 585937500 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: gpt
Идентификатор диска: B56F948D-8674-4C47-9EBE-B466E9727682

Устр-во начало Конец Секторы Размер Тип
/dev/sdd1 2048 4095 2048 1M BIOS boot
/dev/sdd2 4096 528383 524288 256M EFI
/dev/sdd3 528384 585937466 585409083 279,1G Linux LVM

Сообщение **Bizdelnick** » 29.05.2019 13:24

Erema395 писал(а): ↑
29.05.2019 10:08
инициализировать диск в GPT

То есть создать GPT, ясно. Лучше бы MBR, конечно, меньше бы затёрлось.

Erema395 писал(а): ↑
29.05.2019 10:08
затёрлась таблица разделов

Так её и не было, судя по бекапу.

У Вас есть, куда сохранить дамп диска, прежде чем начинать деструктивные эксперименты? Если есть, то сохраните.

Erema395 · Сообщение **Erema395** » 29.05.2019 13:27

Да, есть чистый диск 3тб. Чуть позже поставлю сливать образ

Добавлено (13:48):

Что можно сделать потом?

Сообщение **Bizdelnick** » 29.05.2019 14:01

Что-то вроде pvcreate --uuid NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG --restorefile ...
Подробности в man pvcreate.

Erema395 · Сообщение **Erema395** » 29.05.2019 14:45

Меня смущает что диск определяется в 2тб. Хотя он 3тб

Сообщение **Bizdelnick** » 29.05.2019 15:05

Erema395 писал(а): ↑
29.05.2019 14:45
диск определяется в 2тб

Кем «определяется»?

Erema395 · Сообщение **Erema395** » 29.05.2019 15:24

GNU Parted 3.2
Используется /dev/sdc
Добро пожаловать в GNU Parted! Наберите 'help' для просмотра списка команд.
(parted) mklabel gpt
(parted) print
Модель: ATA ST3000NC002-1DY1 (scsi)
Диск /dev/sdc: 2199GB
Размер сектора (логич./физич.): 512B/512B
Таблица разделов: gpt

Сообщение **Bizdelnick** » 29.05.2019 15:46

cat /sys/block/sdc/size

Erema395 · Сообщение **Erema395** » 29.05.2019 15:49

sudo cat /sys/block/sdc/size
4294967294

Добавлено (15:50):

Как я понял, нужно выровнять разделы по 2048 секторов

Сообщение **Bizdelnick** » 29.05.2019 15:58

Какие ещё разделы? Вам не нужны никакие разделы, их изначально и не было. Любые действия с разделами, любезно созданными виндой, только повлекут дополнительные проблемы.

Erema395 · Сообщение **Erema395** » 29.05.2019 16:00

Просите, не сплю уже 44часа. Туплю с созданием образа диска на пустой диск

Добавлено (16:02):

dd if=/dev/sdb of=/dev/sdc bs=8M conv=sync,noerror

Сообщение **Bizdelnick** » 29.05.2019 16:06

Erema395 писал(а): ↑
29.05.2019 15:49
sudo cat /sys/block/sdc/size
4294967294

Действительно, 2 ТиБ. Похоже, это значение берётся из защитной MBR. Я думаю, можно на это забить.

Добавлено (16:10):

Erema395 писал(а): ↑
29.05.2019 16:00
dd if=/dev/sdb of=/dev/sdc bs=8M conv=sync,noerror

Если sdb — это запоротый диск, а sdc — резервный большего размера, то всё правильно (bs только можно увеличить до 64M — размера кеша диска). Но смотрите, не перепутайте, а то восстанавливать станет нечего!

Erema395 · Сообщение **Erema395** » 29.05.2019 16:10

Поставил копироваться. Смущает что в бэкапе метаданных
dev_size = 5860533168 # 2.72902 Terabytes
pe_start = 2048
pe_count = 715396 # 2.72902 Terabytes

Добавлено (16:11):

sdb запоротый. sdc - тоже 3ТБ

Сообщение **Bizdelnick** » 29.05.2019 16:14

Erema395 писал(а): ↑
29.05.2019 16:10
Смущает что в бэкапе метаданных
dev_size = 5860533168 # 2.72902 Terabytes
pe_start = 2048
pe_count = 715396 # 2.72902 Terabytes

Посмотите, сколько в конце покажет dd.

Erema395 писал(а): ↑
29.05.2019 16:10
sdb запоротый. sdc - тоже 3ТБ

Главное, чтобы он не оказался меньше. Одинаковых дисков в природе не существует, если только это не одна и та же модель.

Erema395 · Сообщение **Erema395** » 29.05.2019 16:15

если 3тб мало, могу собрать raid0 на контроллере и восстанавливать туда

Добавлено (16:16):

Bizdelnick писал: ↑
29.05.2019 16:14
Посмотите, сколько в конце покажет dd.

Процесс думаю не быстрый, как закончит, дам информацию.

Добавлено (16:17):

Offtopic

если есть такая возможность, можно ли узнать номер мобильного в лс для связи? Очень нужно вытащить инфу

Сообщение **Topper** » 29.05.2019 16:36

Bizdelnick писал: ↑
29.05.2019 16:06
Действительно, 2 ТиБ. Похоже, это значение берётся из защитной MBR. Я думаю, можно на это забить.

Такое бывает после создания гибридной GPT на устройстве, отлично воспроизводится при записи исошника с седьмым центосом на флешку.
Штатными средствами восстановить объем носителя не получается, только wipefs -a.

Erema395 · Сообщение **Erema395** » 29.05.2019 16:52

Есть смысл писать центос и грузится с флешки?

Сообщение **Bizdelnick** » 29.05.2019 17:16

Topper писал: ↑
29.05.2019 16:36
только wipefs -a

Ну этого ещё не хватало. По идее dd if=/dev/zero of=<disk> bs=2 count=1 && partprobe уже достаточно будет. Максимум — первые 66 байт затереть.

Erema395 · Сообщение **Erema395** » 29.05.2019 17:34

Закончит копировать, попробую

Erema395 · Сообщение **Erema395** » 29.05.2019 21:38

Места таки не хватило. придётся раид собрать

Добавлено (21:55):

Даже раид 0 из 2х дисков на 3тб определяется как 4.4Тб

Erema395 · Сообщение **Erema395** » 30.05.2019 00:18

Насколько я понял, прежде чем пытаться восстановить метаданные, нужно вернуть диску правильную разметку, иначе бэкап попросту не восстановиться по причине отсутствия места на диске для разметки

Сообщение **Bizdelnick** » 30.05.2019 00:31

Erema395 писал(а): ↑
30.05.2019 00:18
Насколько я понял, прежде чем пытаться восстановить метаданные, нужно вернуть диску правильную разметку,

Правильная разметка в данном случае — отсутствие разметки. По идее pvcreate, натравленный на диск, должен игнорировать разметку. Если не так — ругнётся, запустите с опцией -f (или -ff). Но в принципе можно и затереть предварительно MBR, как я писал выше (только magic — первые два байта, или вместе с таблицей разделов — 66 байт). Затирать ещё и GPT при этом вряд ли понадобится.

Erema395 · Сообщение **Erema395** » 30.05.2019 01:07

Понял. В любом случае, выравнивать можно и сам LVM2 контейнер, если память не изменяет, pvcreate --dataalignment=1M /dev/sdc1

Erema395 · Сообщение **Erema395** » 30.05.2019 03:52

sudo dd if=/dev/sdb of=/dev/sdd bs=64M conv=sync,noerror

Spoiler

[sudo] пароль для admins:
32767+1 записей получено
32768+0 записей отправлено
2199023255552 bytes (2,2 TB, 2,0 TiB) copied, 19942,7 s, 110 MB/s

Пробовал натянуть pvcreate, получил

Spoiler

sudo pvcreate --uuid NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG --restorefile /home/admins/archive/pve.txt /dev/sdb
Couldn't find device with uuid NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG.
WARNING: Device for PV NDmA3e-0JEc-B8DG-zBF0-vAwD-qM77-KH9JSG not found or rejected by a filter.
Device /dev/sdb excluded by a filter.

С ключами -f и -ff картина не меняется
Попробовал
sudo dd if=/dev/zero of=/dev/sdb bs=2 count=1 && partprobe
1+0 записей получено
1+0 записей отправлено
2 bytes copied, 0,000564416 s, 3,5 kB/s
И после этого ситуация не изменилась. Есть мысли?

Сообщение **Bizdelnick** » 30.05.2019 11:35

Erema395 писал(а): ↑
30.05.2019 01:07
В любом случае, выравнивать можно и сам LVM2 контейнер, если память не изменяет, pvcreate --dataalignment=1M /dev/sdc1

Нет! Никаких /dev/sdc1 у Вас не было, том был прямо на /dev/sdc. Соответственно и выравнивать нечего.

Erema395 · Сообщение **Erema395** » 30.05.2019 11:51

Проблема крылась в LSI SAS контроллере. Он все диски подключает как IDE. Поменял на AHCI
GPT PMBR size mismatch (4294967293 != 5860533167) will be corrected by w(rite).
Диск /dev/sda: 2,7 TiB, 3000592982016 байт, 5860533168 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 4096 байт
Размер I/O (минимальный/оптимальный): 4096 байт / 4096 байт
Тип метки диска: gpt
Идентификатор диска: 2FF2B40A-0469-40F4-9B48-8CEFBD79D9ED

Erema395 · Сообщение **Erema395** » 30.05.2019 13:08

pvscan
PV /dev/sdc3 VG pve lvm2 [279,14 GiB / 0 free]
PV /dev/sda VG pve lvm2 [<2,73 TiB / 742,32 GiB free]
Total: 2 [3,00 TiB] / in use: 2 [3,00 TiB] / in no VG: 0 [0 ]
vgchange -a y
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
Check of pool pve/data failed (status:2). Manual repair required!
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
/usr/sbin/thin_check: execvp failed: Нет такого файла или каталога
2 logical volume(s) in volume group "pve" now active
Я так полагаю, разделы я не увижу
lvscan
ACTIVE '/dev/pve/swap' [8,00 GiB] inherit
ACTIVE '/dev/pve/root' [<1,07 TiB] inherit
inactive '/dev/pve/data' [1,18 TiB] inherit
inactive '/dev/pve/vm-100-disk-1' [100,00 GiB] inherit
inactive '/dev/pve/vm-101-disk-1' [100,00 GiB] inherit
inactive '/dev/pve/vm-104-disk-1' [150,00 GiB] inherit
inactive '/dev/pve/vm-104-disk-2' [150,00 GiB] inherit
inactive '/dev/pve/vm-111-disk-1' [200,00 GiB] inherit
inactive '/dev/pve/vm-105-disk-1' [200,00 GiB] inherit

Сообщение **Bizdelnick** » 30.05.2019 13:35

Не понял, что Вы в конечном итоге сделали-то?