Нужна альтернатива rsync + davfs2 (cadaver не предлагать!)

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС для молодых и начинающих системных администраторов.

Модератор: SLEDopit

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 31.08.2017 11:48

Доброго времени суток всем!

Вводная:
Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных. Залить туда нужно 1.2Tb с локального сервера, где они сейчас лежат. Сервер под Debian 8. Канал 10Mb/s.



Описание проблемы:

Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...

Пока использую rsync и подключение по WebDAV, с помощью davfs2.
Проблема в том, что если не ограничивать в настройках размер кеша davfs2, то тупо забивается весь диск и копирование прекращается. А если ограничить, то как только кеш достигает заданного размера, копирование опять таки прекращается, с сообщением "disk full".


Собственно вопрос:

Есть какие-то аналоги davfs2 которые не используют кеширование но позволяют монтирование облака в ФС? Гугл молчит как партизан за этот вопрос (.

Или может кто видел в паблике скрипт, что-бы в связке с cadaver получить ту-же фунциональность, что у rsync?

Сам я в bash, мягко говоря, не компетентен, поэтому пока напишу и отлажу, оно и так докопируется...
Проблема то разовая, в дальнейшем за день будет добавляться не более 2-3 Гб.


Спасибо сказали:

Institut
Сообщения: 273
ОС: mint

Re: Нужна альтернатива rsync + davfs2

Сообщение Institut » 31.08.2017 16:47

Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных. Залить туда нужно 1.2Tb с локального сервера, где они сейчас лежат. Сервер под Debian 8. Канал 10Mb/s.

...
Собственно вопрос:

Есть какие-то аналоги davfs2 которые не используют кеширование но позволяют монтирование облака в ФС? Гугл молчит как партизан за этот вопрос (.

Или может кто видел в паблике скрипт, что-бы в связке с cadaver получить ту-же фунциональность, что у rsync?

Сам я в bash, мягко говоря, не компетентен, поэтому пока напишу и отлажу, оно и так докопируется...
Проблема то разовая, в дальнейшем за день будет добавляться не более 2-3 Гб.


Встречный вопрос - у Вас Debian 8. Для него существует РАБОЧИЙ клиет
YandexDisk и им можно смело пользоваться. А rsync использовать только для синхронизации с папкой Yandex.Disk.
Сам клиет YandexDisk выполняет мнгновенную синхронизацию.
Единственное ограничение которое я нашел
Файлы размером больше 10 ГБ нельзя загрузить на Диск. Если вы скопируете такой файл в папку Яндекс.Диска на вашем компьютере, он не будет синхронизирован.

Зачем использовать davfs2 итд, если достаточно запустить YandexDisk в режиме демона?
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 31.08.2017 16:59

Institut, davfs2 использую, потому что:

Mrakobes писал(а):
31.08.2017 11:48
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...


Как раз с этого репо http://repo.yandex.ru/yandex-disk/?src=Yandex.Landing и брался :(
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 31.08.2017 17:06

Кстати, rsync с клиентом от яндекса не выйдет подружить! Бо тот клиент не монтирует облако в ФС, а синхронизирует папку локальной ФС с облаком...
Там только через симлинки получится сделать, благо он по ним ходит.
Спасибо сказали:

Institut
Сообщения: 273
ОС: mint

Re: Нужна альтернатива rsync + davfs2

Сообщение Institut » 31.08.2017 17:14

Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...

Очень странно, он у меня на виртуалке синхронизирует некоторые документы и потребляет 21Мгб и работает.
ps aux | grep [y]andex-disk
7830 0.3 1.0 751172 21812

Кстати, rsync с клиентом от яндекса не выйдет подружить! Бо тот клиент не монтирует облако в ФС, а синхронизирует папку локальной ФС с облаком...
Там только через симлинки получится сделать, благо он по ним ходит.

А простите, зачем монтировать облако? Обясните, в чем необходимость.
Клиент YandexDisk сам синхронизирует данные, Вам надо только сихронизировать данные с папкой Yandex.Disk.
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 31.08.2017 17:32

Institut писал(а):
31.08.2017 17:14
Очень странно, он у меня на виртуалке синхронизирует некоторые документы и потребляет 21Мгб и работает.
ps aux | grep [y]andex-disk
7830 0.3 1.0 751172 21812


Так смотря сколько данных... У меня то ему нужно было больше терабайта синхронизировать, причем файлов больше 1.5 Gb там нет...


Institut писал(а):
31.08.2017 17:14
А простите, зачем монтировать облако? Обясните, в чем необходимость.
Клиент YandexDisk сам синхронизирует данные, Вам надо только сихронизировать данные с папкой Yandex.Disk.

Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.
Так что либо монтировать облако в ФС, либо кидать в папку я. диска симлинки на папки из которых нужо брать инфу. В принципе, тот-же rsync в результате.
Но в связи с прожорливостью этого клиента по ОЗУ, не принципиально, как именно он действует.
Спасибо сказали:

Institut
Сообщения: 273
ОС: mint

Re: Нужна альтернатива rsync + davfs2

Сообщение Institut » 01.09.2017 10:33

Так смотря сколько данных... У меня то ему нужно было больше терабайта синхронизировать, причем файлов больше 1.5 Gb там нет...
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...

Не верю!

Сразу видно, какое потребление памяти и цпу Yandex.Disk. в режиме sync.

Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.


Не верю! Вы, как организация, платите за интернет больше 3000 руб в месяц.
Что мешает купить винчестер на 1Тб около 3000 руб, 2 Тб - 4500 руб,
на нем создать папку Yandex.Disk и с ней работать именно клиентом Yandex.Disk,
я не понимаю.
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Спасибо сказали:

Аватара пользователя
Bizdelnick
Модератор
Сообщения: 14129
Статус: grammatikführer
ОС: Debian GNU/Linux

Re: Нужна альтернатива rsync + davfs2

Сообщение Bizdelnick » 01.09.2017 10:58

Mrakobes писал(а):
31.08.2017 11:48
Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных.

Ну и зря. Надо было покупать место у хостера, предоставляющего нормальный открытый API типа S3 или Swift. Для них клиентов значительно больше одного, и подобрать подходящий не составило бы труда.
Пишите правильно:
в консоли
вкупе (с чем-либо)
в общем
вообще
в течение (часа)
команда
новичок
нюанс
приемлемо
проблема
пробовать
трафик
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 01.09.2017 20:49

Institut писал(а):
01.09.2017 10:33
Не верю!
Сразу видно, какое потребление памяти и цпу Yandex.Disk. в режиме sync.


Врать не буду, в режиме sync не пробовал, только в режиме демона.
Может и другое потребление, если не как демон запускать.
Кстати, о синхронизации какого объёма инфы мы говорим в Вашем случае? Я таки предпочитаю знаю/не знаю, а не верю/не верю.
В зависимости от объёма обработки потребление памяти на ту-же индексацию может отличаться... существенно...

Institut писал(а):
01.09.2017 10:33
Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.


Не верю! Вы, как организация, платите за интернет больше 3000 руб в месяц.
Что мешает купить винчестер на 1Тб около 3000 руб, 2 Тб - 4500 руб,
на нем создать папку Yandex.Disk и с ней работать именно клиентом Yandex.Disk,
я не понимаю.


Мешает отсутствие смысла в таком решении.
Первое, ЗАЧЕМ создавать дубликат данных в пределах того-же сервера? Что мы с этого выиграем?
Второе, как создание отдельной папки под я.диск решит проблему потребления памяти фирменным клиентом я.диска???

Bizdelnick писал(а):
01.09.2017 10:58
Ну и зря. Надо было покупать место у хостера, предоставляющего нормальный открытый API типа S3 или Swift. Для них клиентов значительно больше одного, и подобрать подходящий не составило бы труда.


Надо было бы, если бы мне удалось на нормального хостера денег вытрясти.... У нормальных прайс не 200 р./мес за терабайт.
Спасибо сказали:

Institut
Сообщения: 273
ОС: mint

Re: Нужна альтернатива rsync + davfs2

Сообщение Institut » 04.09.2017 17:00

Первое, ЗАЧЕМ создавать дубликат данных в пределах того-же сервера? Что мы с этого выиграем?
Второе, как создание отдельной папки под я.диск решит проблему потребления памяти фирменным клиентом я.диска???

Выигрываем, так как перестаем чесать левое ухо правой рукой (заниматься примонтированием).
С потреблением памяти самим клиентом я Вам не верю, так как привел Вам наглядный пример с файлом большого обема, когда потребление составило 20 Мгб при передаче файла размером 2 Гб.
Вы написали
в дальнейшем за день будет добавляться не более 2-3 Гб.
Те Вы берете 8 Гб с учетом примонтирования, а у меня без примонтирования и использования только постоянной папки получилось 20 Мгб.
Почувствуйте разницу.
Что мешает поставить жесткий диск
места не хватит
, разместить на нем папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync я пока тоже не понимаю.
В общем, я предложил, решать Вам.
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 04.09.2017 17:30

Institut писал(а):
04.09.2017 17:00
С потреблением памяти самим клиентом я Вам не верю, так как привел Вам наглядный пример с файлом большого обема, когда потребление составило 20 Мгб при передаче файла размером 2 Гб.
Вы написали
в дальнейшем за день будет добавляться не более 2-3 Гб.
Те Вы берете 8 Гб с учетом примонтирования, а у меня без примонтирования и использования только постоянной папки получилось 20 Мгб.
Почувствуйте разницу.


Я очень извиняюсь, но что именно вам непонятно в слове "БУДЕТ"?!
Да, будет 2-3 Гб. Но сейчас то мне нужно выгрузить в облако 1.2 Тб!!! Да, при передаче файла 2 Гб вопросов нет к потреблению памяти. Но мне-то нужно ВЕСЬ объём сейчас на я. диск закинуть.
И, на минуточку, там не один файл будет передаваться, а надцать. У меня пять или семь нитей(или форков, я фиг знает как его писали) я.диска висело и каждый каждый хомячил оперативу до упора.
И вопрос был именно о СЕЙЧАС, а не о том, что будет когда синхронизироваться будут только добавляемые за день файлы.


Institut писал(а):
04.09.2017 17:00
Что мешает поставить жесткий диск
места не хватит
, разместить на нем папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync я пока тоже не понимаю.
В общем, я предложил, решать Вам.


Да отсутствие внятного обоснования, зачем этот диск нужен ПОСЛЕ окончания выгрузки архива в облако мешает. С ежедневными то объёмами имеющаяся схема без него шутя справится. Хоть через davfs2, хоть через клиент от самого яндекса.
Ну не поймут меня, если я скажу, что хард нужен для уменьшения моего геммора. А других надобностей я не вижу.
Спасибо сказали:

Institut
Сообщения: 273
ОС: mint

Re: Нужна альтернатива rsync + davfs2

Сообщение Institut » 05.09.2017 16:57

там не один файл будет передаваться, а надцать.

Так я уже объяснил - закинуть их в папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync - и все синхронизируется последовательно.
Ну не поймут меня, если я скажу, что хард нужен для уменьшения моего геммора. А других надобностей я не вижу.

А вот это зря. Проблема лежит на Вас, и чем меньше у Вас проблем, тем спокойнее можно заниматься другими вопросами.
Да и всегда можно объяснить руководству, что локальная копия, лежащая внутри организации лишней не будет,
так как интернет может пропасть, а вот тогда с Вас и могут спросить, а так - у Вас есть локальная копия и никого геморроя, в случае отсутствия интернета.
В общем, я предложил, решать Вам.
Спасибо сказали:

Mrakobes
Сообщения: 52
ОС: WinXP_SP3/Linux-Debian-Lenny

Re: Нужна альтернатива rsync + davfs2

Сообщение Mrakobes » 05.09.2017 20:38

Institut писал(а):
05.09.2017 16:57
там не один файл будет передаваться, а надцать.

Так я уже объяснил - закинуть их в папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync - и все синхронизируется последовательно.


А... тогда да. Что при запуске с sync файлы обрабатываются последовательно, я не уловил. Извиняюсь.
Надо будет попробовать, когда первичная заливка закончится. Вроде фирменный клиент я.диск пошустрее работал, чем davfs2.

Institut писал(а):
05.09.2017 16:57
Ну не поймут меня, если я скажу, что хард нужен для уменьшения моего геммора. А других надобностей я не вижу.

А вот это зря. Проблема лежит на Вас, и чем меньше у Вас проблем, тем спокойнее можно заниматься другими вопросами.


Гм... на этот счет есть два мнения... одно начальства, а другое неправильное...

Institut писал(а):
05.09.2017 16:57
Да и всегда можно объяснить руководству, что локальная копия, лежащая внутри организации лишней не будет,
так как интернет может пропасть, а вот тогда с Вас и могут спросить, а так - у Вас есть локальная копия и никого геморроя, в случае отсутствия интернета.


По надёжности хранения ещё одна копия мало что даст... если бы на отдельном NAS, тогда ещё да... а в пределах того-же сервера, это больше иллюзия безопасности, imho.

Ну да фиг с ним. Пока обсуждали, большая часть залилась уже, так что вопрос более не актуален.
Слегка задалбывает, конечно, руками чистить кеш у davfs, но в остальном он работает.
Спасибо сказали:

Вернуться в «Администрирование для начинающих»