Сохранность системы

Любые разговоры которые хоть как-то связаны с тематикой форума

Модератор: Модераторы разделов

alexf
Сообщения: 112

Сохранность системы

Сообщение alexf »

Закончив настройку новой системы, сразу задумался о её судьбе и захотелось обсудить этот вопрос. Я говорю о бэкапах и т.п. )

Сразу скажу что вопрос сохранности моих рабочих данных (включая почту, закладки и вообще всё личное) у меня полностью решён и его обсуждать тут я не хочу. Напишу правда как это сделано, что бы не было вопросов. У меня рабочими является и станция и мобильный компьютер. Причём у мобильного компьютера один "диск" представляет собой флэшку. Почти все личные данные находятся в зашифрованных криптоконтейнерах (после монтирования, для программ кажется что обычная файловая система). Заканчивая работать с одним из компов (не важно каким) я просто вынимаю флэшку из мобильного компа, вставляю в станцию и делаю полную автоматическую синхронизацию каталогов с данными и криптоконтейнеров. Таким образом, хотя системы разные, но работаю я на них не замечая разницы. В общем то ничего оригинального, просто сразу хотел убрать из обсуждения этот вопрос.

Но кроме данных, есть ещё и сама система, любовно настроенная. С Linux'ом это особенно чувствуется и совсем не хочется терять все эти результаты настройки. Однако варианты с копированием только файлов настройки тут не пройдут - должна идти речь о полном бэкапе всей системы.

Отмечу особенности такого вопроса.
1. Что может случиться с системой. Обычные варианты:
- вирус. Не актуально для Linux'a.
- кривые руки пользователя. Тоже не актуально в связи с правами доступа, да и всегда исправить легко с LiveCD.
- кривой апдейт из репозитория. Тоже без проблем исправляется.
- порча жёсткого диска. Вот с этим ничего не поделаешь.
И так из всех проблем в Linux'е реально актуальна только порча диска. Поэтому если бы у нас была в наличие гарантированная от сбоев система диска, то никакие бэкапы были бы не нужны в принципе.

2. Объём и частота бэкапа.
В данном случае объём весьма солидный (десятки гигов), так что подходят или Blu-ray диск или внешний жёсткий диск. Так же по идее могут пойти последние современные флэшки.
Частота такого бэкапа совсем редкая, т.к. личные данные хранятся отдельно. Можно один раз после полной настройки и хорошо бы после установки нового софта.

Из всего описанного, я вижу 3 абсолютно разных пути решения вопроса:
1. Ежемесячное (допустим) копирование всей системы на blu-ray/flash/внешний HD.
2. Построить RAID 1 систему.
3. Довериться надёжности современных жёстких дисков и забить на это всё.

У меня на данный момент реализуется пункт 3. :D Но после долгой и любовной настройки системы, что-то задумался о том стоит ли приложить дополнительные усилия или всё же нет.
Спасибо сказали:
Vexhin
Сообщения: 78
ОС: Ubuntu 20.04 MATE

Re: Сохранность системы

Сообщение Vexhin »

Если сохранность настроек дороже чем 1,5-2 k. то купите винт и попробуйте dd. dd google
Так же можете нарезать образ на куски и писать на dvd.
Спасибо сказали:
Аватара пользователя
proDOOMman
Сообщения: 284

Re: Сохранность системы

Сообщение proDOOMman »

> 3. Довериться надёжности современных жёстких дисков и забить на это всё.
По этому пункту у меня проходит 90% системы (если не больше). Но есть несколько вещей, которые я бекаплю. А конкретно: /etc и некоторые папки в /home. Все бэкапы заливаются на внешний жесткий диск. Особо дорогие мне данные еще храню на флешке
Ubuntu LL x86 on Acer Extensa 5635G
Спасибо сказали:
Аватара пользователя
Davinel
Сообщения: 481
ОС: Ubuntu

Re: Сохранность системы

Сообщение Davinel »

У себя - бэкаплю конфиги(/etc и /home) - зачем бэкапить всю систему?

Это если есть существенный по размерам парк машин, тогда да, а дома - смысл?
Спасибо сказали:
Аватара пользователя
Bluetooth
Сообщения: 4395
Статус: Блюзовый
ОС: Debian Squeeze amd64

Re: Сохранность системы

Сообщение Bluetooth »

Davinel писал(а):
25.08.2009 20:25
У себя - бэкаплю конфиги(/etc и /home) - зачем бэкапить всю систему?

Это если есть существенный по размерам парк машин, тогда да, а дома - смысл?

Чтобы быстро развернуть систему в случае сбоя. частичный бэкап не позволяет развернуть быстро.

Vexhin писал(а):
25.08.2009 20:11
Если сохранность настроек дороже чем 1,5-2 k. то купите винт и попробуйте dd. dd google
Так же можете нарезать образ на куски и писать на dvd.

А зачем dd? Чтобы бэкапить свободное место? :))
Спасибо сказали:
Vexhin
Сообщения: 78
ОС: Ubuntu 20.04 MATE

Re: Сохранность системы

Сообщение Vexhin »

Ээээ... Забыл дать более подробную ссылку, чем в Гугль.
Конкретно бекап диска с dd
Конкретная часть инструкции:
Создание резервного образа жесткого диска:

# dd if=/dev/hda | gzip > /mnt/hdb1/system_drive_backup.img.gz

Команда dd создает образ первого жесткого диска и по конвейеру (не забудьте про стандартный вывод по умолчанию) передает программе сжатия gzip. Сжатый образ затем помещается в файл system_drive_backup.img.gz, находящийся на другом диске (hdb1). Чтобы произвести обратное действие:


# gzip -dc /mnt/hdb1/system_drive_backup.img.gz | dd of=/dev/hda

Программа gzip распаковывает (опция -d) файл, передает результат на стандартный выход (опция -c), по конвейеру данные поступают программе dd, которая записывает выходной файл (устройство /dev/hda).
Спасибо сказали:
Аватара пользователя
Bluetooth
Сообщения: 4395
Статус: Блюзовый
ОС: Debian Squeeze amd64

Re: Сохранность системы

Сообщение Bluetooth »

Vexhin писал(а):
25.08.2009 21:17
Ээээ... Забыл дать более подробную ссылку, чем в Гугль.
Конкретно бекап диска с dd
Конкретная часть инструкции:
Создание резервного образа жесткого диска:

# dd if=/dev/hda | gzip > /mnt/hdb1/system_drive_backup.img.gz

Команда dd создает образ первого жесткого диска и по конвейеру (не забудьте про стандартный вывод по умолчанию) передает программе сжатия gzip. Сжатый образ затем помещается в файл system_drive_backup.img.gz, находящийся на другом диске (hdb1). Чтобы произвести обратное действие:


# gzip -dc /mnt/hdb1/system_drive_backup.img.gz | dd of=/dev/hda

Программа gzip распаковывает (опция -d) файл, передает результат на стандартный выход (опция -c), по конвейеру данные поступают программе dd, которая записывает выходной файл (устройство /dev/hda).

Ничего нового не узнал. Таким образом, у нас будет образ диска размером с диск. Несмотря на то, что там, возможно, будет 95% свободного места(а сколько при тэом будет бекапиться террабайтник? :) ). Зачем оно? Не лучше ли засунуть все в тарник, скопировать с помощью cp -a, или же, если так хочется образ, то воспользоваться утилитой partimage?
Подумайте над этим.
Спасибо сказали:
ancifer2002
Сообщения: 160
ОС: Win XP SP3+Mandriva 2009.0 PWP

Re: Сохранность системы

Сообщение ancifer2002 »

А давайте хотя бы на 5 минут отвлечёмся от всеми любимой консоли и посмотрим в сторону PING live CD. Православный, кстати. 3 клика - и образ всего диска (или же партиции - как Вам заблагорассудится) у Вас в кармане. Уходит 10-15 минут. После ожидаемых плачевных событий: тырк, тырк - и система поставлена на ноги :) Зачем усложнять себе жизнь?
Спасибо сказали:
alexf
Сообщения: 112

Re: Сохранность системы

Сообщение alexf »

Вопрос "с помощью чего" в современном мире как мне кажется не особо актуален.

Важнее вопросы "куда?", "как часто?", "насколько оправданы эти усилия?"... )

Кстати, я заметил что про RAID никто ничего не говорил - это решение совсем не популярно? Казалось бы максимальная автоматика...
Спасибо сказали:
Аватара пользователя
shevan
Сообщения: 992
ОС: Debian, Puppy

Re: Сохранность системы

Сообщение shevan »

Любая Sun OS с ZFS полюбовно решит все вопросы (даже в случае физ. порчи диска)
Спасибо сказали:
VladimirP
Сообщения: 164

Re: Сохранность системы

Сообщение VladimirP »

Bluetooth писал(а):
25.08.2009 22:42
Таким образом, у нас будет образ диска размером с диск. Несмотря на то, что там, возможно, будет 95% свободного места

Было бы так, если бы не сжатие с помощью gzip. Если будет 95% свободного места, то оно будет сжиматься настолько хорошо, что размер архива будет составлять единицы процента от "сырого" объема исходного диска.
Спасибо сказали:
ancifer2002
Сообщения: 160
ОС: Win XP SP3+Mandriva 2009.0 PWP

Re: Сохранность системы

Сообщение ancifer2002 »

Вот этот же PING и использует три вида сжатия для данных. Пустое место, естественно, прессуется "в ноль" :)
Спасибо сказали:
Аватара пользователя
Bluetooth
Сообщения: 4395
Статус: Блюзовый
ОС: Debian Squeeze amd64

Re: Сохранность системы

Сообщение Bluetooth »

VladimirP писал(а):
26.08.2009 09:02
Bluetooth писал(а):
25.08.2009 22:42
Таким образом, у нас будет образ диска размером с диск. Несмотря на то, что там, возможно, будет 95% свободного места

Было бы так, если бы не сжатие с помощью gzip. Если будет 95% свободного места, то оно будет сжиматься настолько хорошо, что размер архива будет составлять единицы процента от "сырого" объема исходного диска.

Про гзип не подумал :)
Но все равно, зачем нужно бэкапить свободное место, если оно все равно нам не нужно? Время-то на это тратится много. При малом использовании дискового пространства это будет львиная доля времени на бэкап.
Данный способ в принципе неправилен, и, хотя гзип почти полностью нивелирует одну из негативных сторон данного метода, метод правильным не становится.
А давайте хотя бы на 5 минут отвлечёмся от всеми любимой консоли и посмотрим в сторону PING live CD

*Отвернулся на 5 минут, плюнул, завернулся обратно* Еще мне нехватало со всяких лайв сиди грузиться, чтоб бэкап сделать.
Зачем усложнять себе жизнь?
Во-во. Зачем усложнять себе жизнь? Какие-то лайв сиди, какое-то пимпочкотыканье, вместо банальной 1 команды, ну или же утилиты partimage...
Вот этот же PING и использует три вида сжатия для данных. Пустое место, естественно, прессуется "в ноль"
Вряд ли пинг делает это все с помощью дд. Он наверняка построен умнее, и свободное место не читает вовсе.
Спасибо сказали:
Аватара пользователя
diesel
Бывший модератор
Сообщения: 5989
ОС: OS X, openSuSE, ROSA, Debian

Re: Сохранность системы

Сообщение diesel »

Bluetooth писал(а):
27.08.2009 09:14
VladimirP писал(а):
26.08.2009 09:02
Bluetooth писал(а):
25.08.2009 22:42
Таким образом, у нас будет образ диска размером с диск. Несмотря на то, что там, возможно, будет 95% свободного места

Было бы так, если бы не сжатие с помощью gzip. Если будет 95% свободного места, то оно будет сжиматься настолько хорошо, что размер архива будет составлять единицы процента от "сырого" объема исходного диска.

Про гзип не подумал :)
Но все равно, зачем нужно бэкапить свободное место, если оно все равно нам не нужно? Время-то на это тратится много. При малом использовании дискового пространства это будет львиная доля времени на бэкап.
Данный способ в принципе неправилен, и, хотя гзип почти полностью нивелирует одну из негативных сторон данного метода, метод правильным не становится.

если рассматривать общий случай - то, кстати, никто не гарантирует что ежели файловая система сообщает о том что свободно 99% диска, то физически вся остальная часть диска заполнена нулями(или единичками). при удалении файлов, обычно, изменения вносятся в таблицу дискрипторов, и в файл называемый папкой, место на диске нулями не заполняется. Переразбивка, форматирование тоже, в принципе, ничего нулями массово не переписывают, иначе эти процессы были бы гораздо дольше чем они есть на самом деле. То есть далеко не факт что dd | gzip даст размер образа который стремится к нулю.
Спасибо сказали:
Аватара пользователя
Bluetooth
Сообщения: 4395
Статус: Блюзовый
ОС: Debian Squeeze amd64

Re: Сохранность системы

Сообщение Bluetooth »

diesel писал(а):
27.08.2009 14:01
Bluetooth писал(а):
27.08.2009 09:14
VladimirP писал(а):
26.08.2009 09:02
Bluetooth писал(а):
25.08.2009 22:42
Таким образом, у нас будет образ диска размером с диск. Несмотря на то, что там, возможно, будет 95% свободного места

Было бы так, если бы не сжатие с помощью gzip. Если будет 95% свободного места, то оно будет сжиматься настолько хорошо, что размер архива будет составлять единицы процента от "сырого" объема исходного диска.

Про гзип не подумал :)
Но все равно, зачем нужно бэкапить свободное место, если оно все равно нам не нужно? Время-то на это тратится много. При малом использовании дискового пространства это будет львиная доля времени на бэкап.
Данный способ в принципе неправилен, и, хотя гзип почти полностью нивелирует одну из негативных сторон данного метода, метод правильным не становится.

если рассматривать общий случай - то, кстати, никто не гарантирует что ежели файловая система сообщает о том что свободно 99% диска, то физически вся остальная часть диска заполнена нулями(или единичками). при удалении файлов, обычно, изменения вносятся в таблицу дискрипторов, и в файл называемый папкой, место на диске нулями не заполняется. Переразбивка, форматирование тоже, в принципе, ничего нулями массово не переписывают, иначе эти процессы были бы гораздо дольше чем они есть на самом деле. То есть далеко не факт что dd | gzip даст размер образа который стремится к нулю.

Точно. Я сам до этого допер, уже когда ехал на тренинг. Сейчас хотел это же написать.
В любом случае, дд не подходит для бэкапа в общем случае
Спасибо сказали:
Аватара пользователя
xorader
Сообщения: 1030
Статус: собирающий миры
ОС: Debian

Re: Сохранность системы

Сообщение xorader »

Странно, что никто не упомянул в теме tar :-/
Прописные истины вроде ж ...

Я который год уже использую http://www.opennet.ru/dev/fsbackup/
Очень простая в настройке, и тем не менее функциональная "система"...
Molchanov Alexander (aka Xor)
*offtopic* - ololo!
Спасибо сказали:
Аватара пользователя
Bluetooth
Сообщения: 4395
Статус: Блюзовый
ОС: Debian Squeeze amd64

Re: Сохранность системы

Сообщение Bluetooth »

xorader писал(а):
28.08.2009 14:34
Странно, что никто не упомянул в теме tar :-/

Я упоминал.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: Сохранность системы

Сообщение drBatty »

VladimirP писал(а):
26.08.2009 09:02
Было бы так, если бы не сжатие с помощью gzip. Если будет 95% свободного места, то оно будет сжиматься настолько хорошо, что размер архива будет составлять единицы процента от "сырого" объема исходного диска.

кто вам сказал, что свободное место сжимается? там, вообще-то, лежат старые удалённые файлы.
xorader писал(а):
28.08.2009 14:34
Странно, что никто не упомянул в теме tar

хорошая и полезная утилита для бекапа.
к ней ещё find и cp --backup - и достаточно.
у меня 2 диска, и в каждом копия бекапа (одна из копий на постоянно отмонтированном разделе) если диск полностью умрёт - есть копия.
периодически пишу бекапы на болванки.
Конечно делаются бекапы сами по себе, по crond
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали: