бекап bigdata.

[BigBrother]

Всем привет.
Сейчас данные находятся на обычном диске и бекапятся с помощью снепшотов средствами гугл облака. Обьем данных растет и чтобы забыть про "закончилось место на диске", принято решение перенести данные в бакет, у которого опции снепшотов нет. Как можно бекапить большой объем данных, которые находятся в гугловых бакетах , чтобы была возможность восстановить файлы по просьбе пользователя, который их случайно удалил, и вспомнил через несколько дней.
Речь идет о 100-1000 пользователях, с 100-1000ГБ данных каждый.
Думал про rsync на соседний сервер/диск, но опция --delete (без нее будет много мусора) потребует создавать периодически архивы данных.
Может rysnc на LVM-раздел и потом snapshot?
GlusterFS/Ceph/Swift?
Или с такими объемами нет смысла переходить на бакеты, если необходима возможность бекапов для восстановления файлов, т.к. по факту, придется держать копию всех файлов в другом месте да и ещё в нескольких экземплярах?

[yars]

Можно что-то архива tar под контролем git, но это велосипедизм... Но я в этом плохо разбираюсь, все-таки домашние бэкапы -- большая разница.

[Bizdelnick]

чтобы была возможность восстановить файлы по просьбе пользователя, который их случайно удалил, и вспомнил через несколько дней.

Давным-давно для этой цели была придумана штука под названием «корзина».

[BigBrother]

Давным-давно для этой цели была придумана штука под названием «корзина».

Архитектура проекта, предоставляет некоторым пользователям прямой доступ к своим файлам через ssh. Если пользователь через web браузер удалил файл, то поместить этот файл "в корзину" для нас не проблема, но если он удалил через командную строку, то этот момент мы не можем отследить.
Получается, чтобы можно было восстановить файл, который юзер удалил через ssh, необходимо иметь полную копию файлов юзера, на другом сервере.

[SLEDopit]

Думал про rsync на соседний сервер/диск, но опция --delete (без нее будет много мусора) потребует создавать периодически архивы данных.

Ну если rsync для вас приемлим, то посмотрите на rsnapshot. Это перловая обвязка, которая работает поверх rsync'a + hard links. Достаточно любопытное решение.
Но если файлов много и они небольшие, то нагрузку на диск будет давать такая штука вполне ощутимую.