Нужна альтернатива rsync + davfs2 (cadaver не предлагать!)
Модератор: SLEDopit
Нужна альтернатива rsync + davfs2
Доброго времени суток всем!
Вводная:
Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных. Залить туда нужно 1.2Tb с локального сервера, где они сейчас лежат. Сервер под Debian 8. Канал 10Mb/s.
Описание проблемы:
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...
Пока использую rsync и подключение по WebDAV, с помощью davfs2.
Проблема в том, что если не ограничивать в настройках размер кеша davfs2, то тупо забивается весь диск и копирование прекращается. А если ограничить, то как только кеш достигает заданного размера, копирование опять таки прекращается, с сообщением "disk full".
Собственно вопрос:
Есть какие-то аналоги davfs2 которые не используют кеширование но позволяют монтирование облака в ФС? Гугл молчит как партизан за этот вопрос (.
Или может кто видел в паблике скрипт, что-бы в связке с cadaver получить ту-же фунциональность, что у rsync?
Сам я в bash, мягко говоря, не компетентен, поэтому пока напишу и отлажу, оно и так докопируется...
Проблема то разовая, в дальнейшем за день будет добавляться не более 2-3 Гб.
Вводная:
Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных. Залить туда нужно 1.2Tb с локального сервера, где они сейчас лежат. Сервер под Debian 8. Канал 10Mb/s.
Описание проблемы:
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...
Пока использую rsync и подключение по WebDAV, с помощью davfs2.
Проблема в том, что если не ограничивать в настройках размер кеша davfs2, то тупо забивается весь диск и копирование прекращается. А если ограничить, то как только кеш достигает заданного размера, копирование опять таки прекращается, с сообщением "disk full".
Собственно вопрос:
Есть какие-то аналоги davfs2 которые не используют кеширование но позволяют монтирование облака в ФС? Гугл молчит как партизан за этот вопрос (.
Или может кто видел в паблике скрипт, что-бы в связке с cadaver получить ту-же фунциональность, что у rsync?
Сам я в bash, мягко говоря, не компетентен, поэтому пока напишу и отлажу, оно и так докопируется...
Проблема то разовая, в дальнейшем за день будет добавляться не более 2-3 Гб.
Re: Нужна альтернатива rsync + davfs2
Таки удалось раскрутить начальство купить место на yandex диске под резервное копирование данных. Залить туда нужно 1.2Tb с локального сервера, где они сейчас лежат. Сервер под Debian 8. Канал 10Mb/s.
...
Собственно вопрос:
Есть какие-то аналоги davfs2 которые не используют кеширование но позволяют монтирование облака в ФС? Гугл молчит как партизан за этот вопрос (.
Или может кто видел в паблике скрипт, что-бы в связке с cadaver получить ту-же фунциональность, что у rsync?
Сам я в bash, мягко говоря, не компетентен, поэтому пока напишу и отлажу, оно и так докопируется...
Проблема то разовая, в дальнейшем за день будет добавляться не более 2-3 Гб.
Встречный вопрос - у Вас Debian 8. Для него существует РАБОЧИЙ клиет
YandexDisk и им можно смело пользоваться. А rsync использовать только для синхронизации с папкой Yandex.Disk.
Сам клиет YandexDisk выполняет мнгновенную синхронизацию.
Единственное ограничение которое я нашел
Файлы размером больше 10 ГБ нельзя загрузить на Диск. Если вы скопируете такой файл в папку Яндекс.Диска на вашем компьютере, он не будет синхронизирован.
Зачем использовать davfs2 итд, если достаточно запустить YandexDisk в режиме демона?
Re: Нужна альтернатива rsync + davfs2
Institut, davfs2 использую, потому что:
Как раз с этого репо http://repo.yandex.ru/yandex-disk/?src=Yandex.Landing и брался
Как раз с этого репо http://repo.yandex.ru/yandex-disk/?src=Yandex.Landing и брался
Re: Нужна альтернатива rsync + davfs2
Кстати, rsync с клиентом от яндекса не выйдет подружить! Бо тот клиент не монтирует облако в ФС, а синхронизирует папку локальной ФС с облаком...
Там только через симлинки получится сделать, благо он по ним ходит.
Там только через симлинки получится сделать, благо он по ним ходит.
Re: Нужна альтернатива rsync + davfs2
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...
Очень странно, он у меня на виртуалке синхронизирует некоторые документы и потребляет 21Мгб и работает.
ps aux | grep [y]andex-disk
7830 0.3 1.0 751172 21812
Кстати, rsync с клиентом от яндекса не выйдет подружить! Бо тот клиент не монтирует облако в ФС, а синхронизирует папку локальной ФС с облаком...
Там только через симлинки получится сделать, благо он по ним ходит.
А простите, зачем монтировать облако? Обясните, в чем необходимость.
Клиент YandexDisk сам синхронизирует данные, Вам надо только сихронизировать данные с папкой Yandex.Disk.
Re: Нужна альтернатива rsync + davfs2
Так смотря сколько данных... У меня то ему нужно было больше терабайта синхронизировать, причем файлов больше 1.5 Gb там нет...
Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.
Так что либо монтировать облако в ФС, либо кидать в папку я. диска симлинки на папки из которых нужо брать инфу. В принципе, тот-же rsync в результате.
Но в связи с прожорливостью этого клиента по ОЗУ, не принципиально, как именно он действует.
Re: Нужна альтернатива rsync + davfs2
Так смотря сколько данных... У меня то ему нужно было больше терабайта синхронизировать, причем файлов больше 1.5 Gb там нет...
Клиент от самих яндексоидов не подходит категорически, поскольку радостно съедает все 8 Гб оперативы и роняет сервер в своп...
Не верю!
Сразу видно, какое потребление памяти и цпу Yandex.Disk. в режиме sync.
Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.
Не верю! Вы, как организация, платите за интернет больше 3000 руб в месяц.
Что мешает купить винчестер на 1Тб около 3000 руб, 2 Тб - 4500 руб,
на нем создать папку Yandex.Disk и с ней работать именно клиентом Yandex.Disk,
я не понимаю.
- Bizdelnick
- Модератор
- Сообщения: 20794
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: Нужна альтернатива rsync + davfs2
Ну и зря. Надо было покупать место у хостера, предоставляющего нормальный открытый API типа S3 или Swift. Для них клиентов значительно больше одного, и подобрать подходящий не составило бы труда.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
Re: Нужна альтернатива rsync + davfs2
Врать не буду, в режиме sync не пробовал, только в режиме демона.
Может и другое потребление, если не как демон запускать.
Кстати, о синхронизации какого объёма инфы мы говорим в Вашем случае? Я таки предпочитаю знаю/не знаю, а не верю/не верю.
В зависимости от объёма обработки потребление памяти на ту-же индексацию может отличаться... существенно...
Institut писал(а): ↑01.09.2017 10:33Да не могу я создать папку и в неё продублировать все данные! Банально места не хватит.
Не верю! Вы, как организация, платите за интернет больше 3000 руб в месяц.
Что мешает купить винчестер на 1Тб около 3000 руб, 2 Тб - 4500 руб,
на нем создать папку Yandex.Disk и с ней работать именно клиентом Yandex.Disk,
я не понимаю.
Мешает отсутствие смысла в таком решении.
Первое, ЗАЧЕМ создавать дубликат данных в пределах того-же сервера? Что мы с этого выиграем?
Второе, как создание отдельной папки под я.диск решит проблему потребления памяти фирменным клиентом я.диска???
Bizdelnick писал(а): ↑01.09.2017 10:58Ну и зря. Надо было покупать место у хостера, предоставляющего нормальный открытый API типа S3 или Swift. Для них клиентов значительно больше одного, и подобрать подходящий не составило бы труда.
Надо было бы, если бы мне удалось на нормального хостера денег вытрясти.... У нормальных прайс не 200 р./мес за терабайт.
Re: Нужна альтернатива rsync + davfs2
Первое, ЗАЧЕМ создавать дубликат данных в пределах того-же сервера? Что мы с этого выиграем?
Второе, как создание отдельной папки под я.диск решит проблему потребления памяти фирменным клиентом я.диска???
Выигрываем, так как перестаем чесать левое ухо правой рукой (заниматься примонтированием).
С потреблением памяти самим клиентом я Вам не верю, так как привел Вам наглядный пример с файлом большого обема, когда потребление составило 20 Мгб при передаче файла размером 2 Гб.
Вы написали
Те Вы берете 8 Гб с учетом примонтирования, а у меня без примонтирования и использования только постоянной папки получилось 20 Мгб.в дальнейшем за день будет добавляться не более 2-3 Гб.
Почувствуйте разницу.
Что мешает поставить жесткий диск
, разместить на нем папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync я пока тоже не понимаю.места не хватит
В общем, я предложил, решать Вам.
Re: Нужна альтернатива rsync + davfs2
Institut писал(а): ↑04.09.2017 17:00С потреблением памяти самим клиентом я Вам не верю, так как привел Вам наглядный пример с файлом большого обема, когда потребление составило 20 Мгб при передаче файла размером 2 Гб.
Вы написалиТе Вы берете 8 Гб с учетом примонтирования, а у меня без примонтирования и использования только постоянной папки получилось 20 Мгб.в дальнейшем за день будет добавляться не более 2-3 Гб.
Почувствуйте разницу.
Я очень извиняюсь, но что именно вам непонятно в слове "БУДЕТ"?!
Да, будет 2-3 Гб. Но сейчас то мне нужно выгрузить в облако 1.2 Тб!!! Да, при передаче файла 2 Гб вопросов нет к потреблению памяти. Но мне-то нужно ВЕСЬ объём сейчас на я. диск закинуть.
И, на минуточку, там не один файл будет передаваться, а надцать. У меня пять или семь нитей(или форков, я фиг знает как его писали) я.диска висело и каждый каждый хомячил оперативу до упора.
И вопрос был именно о СЕЙЧАС, а не о том, что будет когда синхронизироваться будут только добавляемые за день файлы.
Да отсутствие внятного обоснования, зачем этот диск нужен ПОСЛЕ окончания выгрузки архива в облако мешает. С ежедневными то объёмами имеющаяся схема без него шутя справится. Хоть через davfs2, хоть через клиент от самого яндекса.
Ну не поймут меня, если я скажу, что хард нужен для уменьшения моего геммора. А других надобностей я не вижу.
Re: Нужна альтернатива rsync + davfs2
там не один файл будет передаваться, а надцать.
Так я уже объяснил - закинуть их в папку Yandex.Disk и запускать клиента Yandex.Disk через cron с опцией sync - и все синхронизируется последовательно.
Ну не поймут меня, если я скажу, что хард нужен для уменьшения моего геммора. А других надобностей я не вижу.
А вот это зря. Проблема лежит на Вас, и чем меньше у Вас проблем, тем спокойнее можно заниматься другими вопросами.
Да и всегда можно объяснить руководству, что локальная копия, лежащая внутри организации лишней не будет,
так как интернет может пропасть, а вот тогда с Вас и могут спросить, а так - у Вас есть локальная копия и никого геморроя, в случае отсутствия интернета.
В общем, я предложил, решать Вам.
Re: Нужна альтернатива rsync + davfs2
А... тогда да. Что при запуске с sync файлы обрабатываются последовательно, я не уловил. Извиняюсь.
Надо будет попробовать, когда первичная заливка закончится. Вроде фирменный клиент я.диск пошустрее работал, чем davfs2.
Гм... на этот счет есть два мнения... одно начальства, а другое неправильное...
По надёжности хранения ещё одна копия мало что даст... если бы на отдельном NAS, тогда ещё да... а в пределах того-же сервера, это больше иллюзия безопасности, imho.
Ну да фиг с ним. Пока обсуждали, большая часть залилась уже, так что вопрос более не актуален.
Слегка задалбывает, конечно, руками чистить кеш у davfs, но в остальном он работает.