Сделать копию виртуального блочного устройства. fake-raid stripe.

[brat_kuzma]

Добрейшего денечка. Дали поработать с сервером, а он вот-вот умрет, я не занимался его конфигурацией, но как видимо буду заниматься его спасением. На сервере fake-raid, stripe. Диски по смарту, практически мертвы. Нужно сделать полную копию рабочей системы, и избавиться от рейда впринципе, заменив рейд на одинокий, быстрый диск.
Имеется

Linux 3.2.0-0.bpo.4-amd64 #1 SMP Debian 3.2.63-2+deb7u2~bpo60+1 x86_64 GNU/Linux

Настройки dmraid

dmraid-r
ERROR: ddf1: both header signatures bad on /dev/sda
ERROR: ddf1: both header signatures bad on /dev/sdb
/dev/sda: isw, "isw_bajcdffaed", GROUP, ok, 3907029166 sectors, data@ 0
/dev/sdb: isw, "isw_bajcdffaed", GROUP, ok, 3907029166 sectors, data@ 0

и еще так

dmraid -s

*** Group superset isw_bajcdffaed
--> Active Subset
name : isw_bajcdffaed_Archive
size : 4292921856
stride : 256
type : stripe
status : ok
subsets: 0
devs : 2
spares : 0
--> Active Subset
name : isw_bajcdffaed_System
size : 3521118720
stride : 256
type : stripe
status : ok
subsets: 0
devs : 2
spares : 0

Все работает, у сервера аптайм 350 дней. Состояние dev/sdb smart.

smartctl -A /dev/sdb

smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright © 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 118 099 006 Pre-fail Always - 200407190
3 Spin_Up_Time 0x0003 100 100 000 Pre-fail Always - 0
4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 113
5 Reallocated_Sector_Ct 0x0033 003 003 036 Pre-fail Always FAILING_NOW 3975
7 Seek_Error_Rate 0x000f 078 060 030 Pre-fail Always - 77599207
9 Power_On_Hours 0x0032 062 062 000 Old_age Always - 33326
10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 113
183 Runtime_Bad_Block 0x0032 100 100 000 Old_age Always - 0
184 End-to-End_Error 0x0032 100 100 099 Old_age Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
188 Command_Timeout 0x0032 100 100 000 Old_age Always - 0
189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0
190 Airflow_Temperature_Cel 0x0022 074 049 045 Old_age Always - 26 (Lifetime Min/Max 24/51)
191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 1
192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 87
193 Load_Cycle_Count 0x0032 100 100 000 Old_age Always - 113
194 Temperature_Celsius 0x0022 026 051 000 Old_age Always - 26 (0 19 0 0)
195 Hardware_ECC_Recovered 0x001a 025 015 000 Old_age Always - 200407190
197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0
240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 121152437519177
241 Total_LBAs_Written 0x0000 100 253 000 Old_age Offline - 3006513818
242 Total_LBAs_Read 0x0000 100 253 000 Old_age Offline - 2525707321

lsblk вырезан, blkid:

blkid

/dev/mapper/isw_bajcdffaed_System4: LABEL="rsvd" UUID="4931d332-7466-4998-973a-05f486170a6c" SEC_TYPE="ext2" TYPE="ext3"
/dev/mapper/isw_bajcdffaed_System3: LABEL="home" UUID="c74d7972-bb1c-45ba-b189-9332c29e41f7" TYPE="xfs"
/dev/mapper/isw_bajcdffaed_System6: LABEL="var" UUID="addd39f0-1af4-44e4-ae6f-2f4ffe0f0e8a" TYPE="reiserfs"
/dev/sdb: UUID=" M-xG^Y" TYPE="ddf_raid_member"
/dev/sda: UUID=" M-dD^Y" TYPE="ddf_raid_member"
/dev/mapper/isw_bajcdffaed_System1: LABEL="root" UUID="dddde23a-d051-419e-b8ea-628dd3779ab1" TYPE="ext3"
/dev/mapper/isw_bajcdffaed_System5: LABEL="usr" UUID="6a3d1b9c-02ed-4612-9765-f772263fa744" TYPE="ext3"
/dev/mapper/isw_bajcdffaed_Archive: LABEL="arc" UUID="67679719-ffa9-43e5-a581-f62ac88aabe9" TYPE="xfs"
/dev/loop0: LABEL="root" UUID="2ec8cc6b-fec7-4a0f-87cf-7d2d5d64a9db" TYPE="xfs"
/dev/loop1: LABEL="root" UUID="9c547d32-48c4-474a-980a-d6b7a172e589" TYPE="xfs"
/dev/loop2: LABEL="root" UUID="ebba6c0b-3242-45c4-8f37-4e9d314ae258" TYPE="xfs"
/dev/loop3: LABEL="root" UUID="f9af90fc-2ba9-4b13-b797-3f2325147a00" TYPE="xfs"
/dev/loop4: LABEL="root" UUID="37269f29-9446-4d57-b327-4502b7886bb1" TYPE="xfs"
/dev/loop5: LABEL="root" UUID="8ed08235-4357-4397-a16c-70c97bb5e3de" TYPE="xfs"
/dev/loop6: LABEL="root" UUID="ed725fdd-0fb3-4417-9070-319b27bf2f0d" TYPE="xfs"
/dev/loop7: LABEL="root" UUID="083457ad-b949-43b1-b106-05b7a28dfe8e" TYPE="xfs"
/dev/loop8: LABEL="root" UUID="de107505-6331-4bf2-ae48-436f9a6298ae" TYPE="xfs"
/dev/loop9: LABEL="root" UUID="a8923065-5a8b-49b8-a50c-dbf596cc95c0" TYPE="xfs"
/dev/loop10: LABEL="root" UUID="fae396e6-14bb-47e3-aca4-595a95fd938e" TYPE="xfs"
/dev/loop11: LABEL="root" UUID="7fa077f9-9662-4284-ace7-f46216387bab" TYPE="xfs"

И на всякий случай fdisk

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table
Warning: ignoring extra data in partition table 5
Warning: ignoring extra data in partition table 5
Warning: ignoring extra data in partition table 5
Warning: invalid flag 0x6f63 of partition table 5 will be corrected by w(rite)

Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x6592f6a2

Device Boot Start End Blocks Id System
/dev/sda1 1 66838 536870912 83 Linux
/dev/sda2 66838 79370 100663296 5 Extended
/dev/sda3 79370 213045 1073741824 83 Linux
/dev/sda4 213045 219180 49283072 83 Linux
/dev/sda5 ? 100388 210518 884619191 20 Unknown

Disk /dev/dm-0: 1802.8 GB, 1802812784640 bytes
255 heads, 63 sectors/track, 219179 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x6592f6a2

Device Boot Start End Blocks Id System
/dev/dm-0p1 1 66838 536870912 83 Linux
/dev/dm-0p2 66838 79370 100663296 5 Extended
/dev/dm-0p3 79370 213045 1073741824 83 Linux
/dev/dm-0p4 213045 219180 49283072 83 Linux
/dev/dm-0p5 66838 71015 33554432 83 Linux
/dev/dm-0p6 71015 79370 67108352 83 Linux

Disk /dev/dm-1: 549.8 GB, 549755813888 bytes
255 heads, 63 sectors/track, 66837 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-1 doesn't contain a valid partition table

Disk /dev/dm-2: 1099.5 GB, 1099511627776 bytes
255 heads, 63 sectors/track, 133674 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-2 doesn't contain a valid partition table

Disk /dev/dm-3: 50.5 GB, 50465865728 bytes
255 heads, 63 sectors/track, 6135 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-3 doesn't contain a valid partition table

Disk /dev/dm-4: 34.4 GB, 34359738368 bytes
255 heads, 63 sectors/track, 4177 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-4 doesn't contain a valid partition table

Disk /dev/dm-5: 68.7 GB, 68718952448 bytes
255 heads, 63 sectors/track, 8354 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-5 doesn't contain a valid partition table

Disk /dev/dm-6: 2198.0 GB, 2197975990272 bytes
255 heads, 63 sectors/track, 267222 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 131072 bytes / 262144 bytes
Disk identifier: 0x00000000

Disk /dev/dm-6 doesn't contain a valid partition table

Теперь к сути проблемы. Надо спасти все, что есть. Было бы классно как-нибудь dd всего на новый диск. Новый диск - 3Тб , от рэйдов было решено пока отказаться. Еще - в идеале, сделать это не перезагружаясь.
например

dd if=/dev/mapper/isw_bajcdffaed_System of=/dev/sdc

так ? а как потом загрузиться с него ?
Еще предлагали забэкапить весь корень, каким-нибудь rsync или tar . Как лучше dd или tar(rsync) ? Спасибо.

[Bizdelnick]

Про dd с живой системы даже не думайте, если только не перемонтируете всё в ro, иначе получите на выходе один мусор. rsync и tar — тоже не лучший вариант, если файлы могут меняться в процессе синхронизации.
Stripe, xfs, reiserfs... Оно просто создавалось для того, чтобы накрыться медным тазом.
Я бы первым делом вытащил ценные данные (сдампил БД, скопировал файлы данных), забив на корень. Потом занялся развёртыванием всего хозяйства с нуля на другом железе. Иначе несколько дней простоя гарантированы.

[brat_kuzma]

Про dd с живой системы даже не думайте, если только не перемонтируете всё в ro, иначе получите на выходе один мусор. rsync и tar — тоже не лучший вариант, если файлы могут меняться в процессе синхронизации.
Stripe, xfs, reiserfs... Оно просто создавалось для того, чтобы накрыться медным тазом.
Я бы первым делом вытащил ценные данные (сдампил БД, скопировал файлы данных), забив на корень. Потом занялся развёртыванием всего хозяйства с нуля на другом железе. Иначе несколько дней простоя гарантированы.

Этот сервер очень штучный продукт, простой это не так страшно, как восстановление всего с нуля. Нужен какой-то очень деликатный способ, который нежно-нежно, забэкапит, а затем не менее нежно восстановит на новый диск. Я понимаю, что возможно с "базуки по воробьям", но может бакулой попробовать ? Я подоткну новый диск, забэкаплю корень на сервер-хранилище, и восстановлю бэкап на новый 3Тб диск, без перезагрузки. Есть у меня шансы, или я что-то не учел ?

[Bizdelnick]

Ну если простой не страшен, то init 1, перемонтируйте всё в ro и делайте dd (если случай запущенный, может пригодиться ddrescue).
Но от «штучных продуктов» в любом случае лучше избавляться, поддерживать их — редкостный геморрой.

[Bedazzled]

вот свежая статейка https://habrahabr.ru/post/128095/
еще пишут про http://dump.sourceforge.net/

[brat_kuzma]

после telinit 1 сервер позволяет переключаться между терминалами, но авторизоваться не выходит - не реагирует на ввод с клавиатуры. Есть какие-нибудь способы вернуть его к жизни, кроме ребута ?

[Bizdelnick]

Не реагирует, или Вы не видите, что он реагирует? Он по идее должен сразу пароль рута спрашивать, который, естественно, при вводе не отображается.
"Не вводится" пароль в консоли!

[brat_kuzma]

Увы, но это больше похоже на, то, что init не может выполнить какой-то скрипт(примерно как тут http://www.linux.org.ru/forum/general/9318...page1#comments). Вобщем, я перезагрузился и увидел замечательную картину. Модифицированное ядро debian - xen, видимо паравиртуализация, и еще с десяток разных ядер. Но есть и хорошие новости, перезагрузка не смертельна, хотя raid ругается на диск. В теории можно загрузиться с live-usb и там проинициализировать мой fake-raid и забэкапить его dd - хой, без всяких init 1. Как думаете господа, достаточно кошерно ?

[Bizdelnick]

Если удастся собрать raid с live-системы, то, конечно, это лучший вариант.

[brat_kuzma]

Пишу этот комментарий на берегу финского залива, пока двое молодых людей крепкого телосложения привязывают мне гирю к ногам. У меня так ничего и не получилось, fake-raid-stripe это одноразовое, необслуживаемое... Всем спасибо. Пожалуй тему можно закрывать, а мой бренный аккаунт удалять.