Решено: Сжать, разбить, зашифровать большой каталог

Для новичков как вообще в Linux, так и в конкретной теме, к которой относится вопрос.

Модератор: Bizdelnick

Ответить
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Решено: Сжать, разбить, зашифровать большой каталог

Сообщение azsx »

Есть каталог на 1,2 тб(файлопомойка) /mnt/disk1/arh. Его надо выкладывать на ftp раз в месяц, желательно только изменившиеся файлы. Для этого я сперва его выкладываю на другой локальный диск /mnt/disk2/out, а потом с lftp копирую в мир.
В winrar можно взять каталог, запаковать его, при паковании зашифровать и разбить на файлы по 100 мб. Но в таком случае все файлы будут каждый раз перепаковываться, а также winrar только под wine. Ну и восстанавливать потом -- чокнешся.
Скажите, пожалуйста, как сделать такой трюк в linux ubuntu? Сжать, разбить, зашифровать большой каталог, чтобы потом было не слишком сложно восстановить его.
зы
это архивация домашних файлов на другой комп.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение Bizdelnick »

azsx писал(а):
03.11.2017 07:43
взять каталог, запаковать его

tar

azsx писал(а):
03.11.2017 07:43
зашифровать

gpg

azsx писал(а):
03.11.2017 07:43
разбить на файлы по 100 мб

split

А лучше посмотрите в сторону borg или чего-то наподобие.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Аватара пользователя
bormant
Сообщения: 1354

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение bormant »

Вопрос: насколько "свой" удаленный хост?
Если на нём можно удаленно управлять подключением шифрованного тома только на время бэкапа и отключать по завершении, то вопрос с шифрованием можно считать решенным.
Останется решить вопрос с тем, чтобы архиватор был дружественен к обновлению архива -- содержимое архива не менялось бы в части неизменных файлов источника.
Возможно, есть смысл делить не по условным 100 МБ, а по архивам-подкаталогам.
Для уменьшения объема передаваемого по сети можно посмотреть в сторону rsync и подъема rsync-демона на принимающей стороне.
Стоит ли пробовать вместо этого дельта-обновления -- нужно изучать сей вопрос.
Спасибо сказали:
Аватара пользователя
bormant
Сообщения: 1354

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение bormant »

Bizdelnick писал(а):
03.11.2017 10:03
посмотрите в сторону borg

По описанию судя, весьма забавная штука. Хочу поинтересоваться, а личный опыт интенсивного использования и впечатления от него есть?
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение Institut »

Сжать, разбить, зашифровать большой каталог, чтобы потом было не слишком сложно восстановить его.

А 7z не подойдет, например 7z a -p102 -v100m архив.7z АРХИВ . Может работать в режиме обновления.
это архивация домашних файлов на другой комп.

(Не успел) Уже предложили хорошее решение
rsync и подъема rsync-демона на принимающей стороне.

Да или просто rsync через ssh - быстро и надежно.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение Bizdelnick »

Institut писал(а):
03.11.2017 10:51
А 7z не подойдет

С ним два варианта: либо относимся к файлопомойке как действительно к помойке и забиваем на права доступа, ссылки и прочие POSIX-фишки, или пакуем tar в 7z (что луше tar + xz только поддержкой шифрования).

bormant писал(а):
03.11.2017 10:44
Хочу поинтересоваться, а личный опыт интенсивного использования и впечатления от него есть?

Неа. Только мысли о том, что неплохо бы личные бекапы через него делать.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение azsx »

rsync и подъема rsync-демона на принимающей стороне.

компьютер у родствеников, но, к сожалению я оттуда забрал комп с линукс и там только винда. А на винде я сумел поднять только ftp.
tar, gpg, split

меня не очень устраивает. Так как сперва я создам весьма такой здоровый файл архив. Потом его же зашифровать, разбить и копировать по ftp. Представляю сколько будет ошибок и как оно будет его восстанавливать в случае чего.
А 7z не подойдет, например 7z a -p102 -v100m архив

сегодня man почитаю.
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение Institut »

7z a -p102 -v100m архив.7z АРХИВ - создание архива с именем архив, с паролем 102 и разбитием по частям на 100Мгб, из папки АРХИВ.
А чем решение с rsync через ssh не устраивает? Есть клиенты по виндовс - RsyncForWindows, и наверное другие.
Для виндовс есть очень хорошее решение - Bitvise SSH Client - там SSH Client и полноценный sftp с графическим интерфейсом. Он бесплатный, может работать по паролю или по publikkey. Также поддерживает работу SSH на нестандартном порту.
sftp - двух панельный, удобный и простой интерфейс. Вроде поддерживает командную строку -'stnlc -h'. Рекомендую посмотреть в его сторону.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение Bizdelnick »

azsx писал(а):
03.11.2017 11:08
tar, gpg, split

меня не очень устраивает. Так как сперва я создам весьма такой здоровый файл архив. Потом его же зашифровать, разбить и копировать по ftp. Представляю сколько будет ошибок и как оно будет его восстанавливать в случае чего.

Создавать временные файлы не обязательно, можно использовать конвейер: tar -cJf - data | gpg -c -z0 - | split -b 100M - backup (data — каталог, который архивируем, backup — префикс файлов бекапа). В результате получаются такие файлики:

Shell

% ls -1 backup* backupaa backupab backupac backupad backupae backupaf backupag backupah backupai backupaj backupak

Посмотреть, что в бекапе, можно так:

Shell

% cat backup* | gpg -d - | tar -tJf - gpg: данные зашифрованы алгоритмом AES gpg: зашифровано одной фразой-паролем data/ data/file3 data/file1 data/file9 data/file0 data/file8 data/file6 data/file4 data/file2 data/file5 data/file7 %

Для распаковкивки заменить опцию -t на -x.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Решено: Сжать, разбить, зашифровать большой каталог

Сообщение azsx »

К сожалению с 7z был самый простой способ, но он не сработал. 7z написал

Код: Выделить всё

System error
слишком много открытых файлов

и завершился не заархивировав файлы.
---
Так как кроме 7z других логичных вариантов не было, всё таки вернулся к rar. Команда, если кому нужна
rar a -rr5p -hpmy_password -r -t -v100m file_arh /katalog/
зы
кстати отмечу. 1,6 тб, сжались в 1,2 тб. 7z к сожалению на таких объёмах не заработал.
Спасибо сказали:
Ответить