Синхронизация каталогов

[zkrvova]

Есть такая задача, нужно с http сервера забирать файлы и ложить к себе в локальный каталог. Какие файлы заранее не известно, т.е. нужно синхронизировать свой каталог с удалённым.

Как этого добиться?

[INF[SZ]]

wget, rsync

[Хрюндель]

rsync однозначно. Если хочишь всё это дело в cron засунуть то придётся ssh ключик без pass phrase генерировать, иначе оно само не будет логиниться.

[zkrvova]

а зачем ключик? на сервер доступ без парольный, обычный.

[Хрюндель]

А обычный это какой? Я думал обычный это Юзер+Пароль..

[zkrvova]

Вот попробовал так:
wget -r -l10 -k http://www.nogliki.com/updates/nod/ -np
но скачивает список файлов в index.html. А сами файлы качать не хочет.

Как заставить качать сами файлы?

[elide]

ну ты умен.... тебе в robots.txt серым по белому написано "Disallow: /updates/"
низзя, значит, качать...

[xnu!l]

ну ты умен.... тебе в robots.txt серым по белому написано "Disallow: /updates/"
низзя, значит, качать...

3.0 How can I make Wget ignore the robots.txt file?

wget -erobots=off http://your.site.here

[Demonas666]

А как можно синхронизировать две папки в пределах одного компьютера? Задача состоит в создании бэкапа нескольких папок на втором винчестере. Папки довольно объемные, поэтому хотелось бы копировать только те файлы, которые изменились. Вобщен, нужен аналог
lftp mirror
но для двух локальных папок.

[Goodvin]

А как можно синхронизировать две папки в пределах одного компьютера? Задача состоит в создании бэкапа нескольких папок на втором винчестере. Папки довольно объемные, поэтому хотелось бы копировать только те файлы, которые изменились. Вобщен, нужен аналог
lftp mirror
но для двух локальных папок.

man rsync

[Demonas666]

man rsync

А его можно запускать без демона? Не хочется, чтобы крутился всё время, или каждый раз стартовать/останавливать. Считаю, что в пределах одного компьютера rsync - это костыль. Разве нет чего попроще?

[Goodvin]

man rsync

А его можно запускать без демона? Не хочется, чтобы крутился всё время, или каждый раз стартовать/останавливать.

Вы хотите чтобы

Код: Выделить всё

man rsync

читал Вам я?
Это можно.
100$ в час, вслух и с выражением, дикция поставлена.
Возможно чтение по телефону, тариф поминутный.

Считаю, что в пределах одного компьютера rsync - это костыль. Разве нет чего попроще?

Считайте. Чем rsync сложен?
Тем, что Вы не желаете читать man?

[Flaming]

Считаю, что в пределах одного компьютера rsync - это костыль. Разве нет чего попроще?

А что может быть проще? =)
Ну, разве rm, потом cp. Но согласитесь, что это медленнее. И менее надёжно.

rsync именно и придуман, что для вашей задачи.

[yurkats]

Использование rsync в варианте на одном компе:
rsync -avpo --progress --no-p --no-g --no-o --log-file='/var/log/rsyncd.log' /var/source-dir/ /var/dst-dir/


Использование rsync в варианте сервер-клиент:

на сервере создется файл

/etc/rsyncd.conf
***************
log file = /var/log/rsyncd.log
transfer logging = /var/log/rsync-transfer.log

[source_dir_xxx]
comment = Source Dir
path = /var/source
list = yes
host allow = 192.168.1.2
uid = root
gid = root

[source_dir_yyy]
comment = Source Dir 2
path = /var/source-hard-xxx/
list = yes
host allow = 192.168.1.2
uid = root
gid = root
***************

Серверная часть запускается тока в процессе запроса синхронизации, через xinetd
для этого /etc/xinetd.d/rsync установить "disable" в "no"

На клиенте

rsync -avpoz --progress --no-p --no-g --no-o --log-file='/var/log/rsyncd.log' root@192.168.1.1::source_dir_xxx /var/dst-dir-xxx/
или
rsync -avpoz --progress --no-p --no-g --no-o --log-file='/var/log/rsyncd.log' root@192.168.1.1::source_dir_yyy/hard/ /var/dst-dir-yyy/

В Fedore 12 всё работает