Зазеркалить репозиторий MIB, как? (Не обходя в броузере каждую папку.)

[yamah]

Уже зазвал этот вопрос 13 июля.
Были предложения использовать httrack и pavuk.

Хотелось бы зазеркалить и время от времени синхронизировать сей репозиторий.
EduMandriva можно было хотя бы фтп-клиентом скопировать все каталоги сразу - поставил и забыл, пока не закачлось.
С MIB я такой возможности не видел - только броузером обходить все папки.

[Pulfer]

Уже зазвал этот вопрос 13 июля.
Были предложения использовать httrack и pavuk.

Хотелось бы зазеркалить и время от времени синхронизировать сей репозиторий.
EduMandriva можно было хотя бы фтп-клиентом скопировать все каталоги сразу - поставил и забыл, пока не закачлось.
С MIB я такой возможности не видел - только броузером обходить все папки.

Тут, я думаю, можно комбинацией dog и wget всё сделать. Вечером напишу скриптик.

Кстати, а почему httrack и pavuk не подошли?

[SinClaus]

Собственно и wget может рекурсивно качать каталоги, с заданным уровнем вложенности.

[Bizdelnick]

Код: Выделить всё

wget -m  -nH  -P /path/to/your/mirror $URL

URL - надеюсь, понятно что

[yamah]

Кстати, а почему httrack и pavuk не подошли?

Собственно и wget может рекурсивно качать каталоги, с заданным уровнем вложенности.

Пробовал все три программы.
wget ни в каком виде не качал пакеты во вложенных дирректориях, хотя и качал изображения.
ОСтальные тоже не пошли, но уже и не помню почему.

[Bizdelnick]

wget ни в каком виде не качал пакеты во вложенных дирректориях, хотя и качал изображения.

Попробуйте с теми опциями, что я выше написал.

[VictorR2007]

Pavuk хорошо справляется, просто им сложновато пользоваться из-за отсутствия русификации.

[yamah]

Bizdelnick
Предыдщий пост я писал практически одновременно с тобой.
Спасибо за помощь Попробую на этой неделе.

Pavuk хорошо справляется, просто им сложновато пользоваться из-за отсутствия русификации.

Локализация самая последня проблема. Всегда можно что-то в гугле транслейт перевести.

[Pulfer]

Код: Выделить всё

1. Создание файла с ссылками на все пакеты в репозиториях MIB для 2010.0 i686.

dog http://mib.pianetalinux.org/2010.0/32/basic/ --links | grep rpm > mib-2010.0-i686.txt
dog http://mib.pianetalinux.org/2010.0/32/experts/ --links | grep rpm >> mib-2010.0-i686.txt

2. "Синхронизация" файлов

wget -P /home/user/mib-2010.0-i686 -c -i mib-2010.0-i686.txt

3. Создание локального репозитория на основе пакетов из MIB-basic и MIB-experts для 2010.0 i686

genhdlist2 /home/user/mib-2010.0-i686

Можно всё это упаковать в один скрипт и сделать так, чтобы скачивались пакеты не только для 2010.0 i686, но и для других веток. Ну и /home/user/mib-2010.0-i686 заменить на более подходящий путь.

[yamah]

Код: Выделить всё

1. Создание файла с ссылками на все пакеты в репозиториях MIB для 2010.0 i686.

dog http://mib.pianetalinux.org/2010.0/32/basic/ --links | grep rpm > mib-2010.0-i686.txt
dog http://mib.pianetalinux.org/2010.0/32/experts/ --links | grep rpm >> mib-2010.0-i686.txt

2. "Синхронизация" файлов

wget -P /home/user/mib-2010.0-i686 -c -i mib-2010.0-i686.txt

3. Создание локального репозитория на основе пакетов из MIB-basic и MIB-experts для 2010.0 i686

genhdlist2 /home/user/mib-2010.0-i686

Можно всё это упаковать в один скрипт и сделать так, чтобы скачивались пакеты не только для 2010.0 i686, но и для других веток. Ну и /home/user/mib-2010.0-i686 заменить на более подходящий путь.

Спасибо.
В ближайшее время оформлю это в виде скрипта с выбором архитектуры. Ну и с собственно обходом всех каталогов.
Резултат выложу тут же.

[Bizdelnick]

Код: Выделить всё

1. Создание файла с ссылками на все пакеты в репозиториях MIB для 2010.0 i686.

 dog http://mib.pianetalinux.org/2010.0/32/basic/ --links | grep rpm > mib-2010.0-i686.txt
 dog http://mib.pianetalinux.org/2010.0/32/experts/ --links | grep rpm >> mib-2010.0-i686.txt

 2. "Синхронизация" файлов

 wget -P /home/user/mib-2010.0-i686 -c -i mib-2010.0-i686.txt

 3. Создание локального репозитория на основе пакетов из MIB-basic и MIB-experts для 2010.0 i686

 genhdlist2 /home/user/mib-2010.0-i686

Можно всё это упаковать в один скрипт и сделать так, чтобы скачивались пакеты не только для 2010.0 i686, но и для других веток. Ну и /home/user/mib-2010.0-i686 заменить на более подходящий путь.

А на фига такие сложности? Требуется, как я понял, всего лишь зазеркалить содержимое конкретной папки.

[yamah]

А на фига такие сложности? Требуется, как я понял, всего лишь зазеркалить содержимое конкретной папки.

Как бы не так. Требуется сделать зеркало всего репозитория для версии 2010 и архитектур x86_64, i586 (i686). Подобное нужно для организации зеркала в локальной сети провайдера.

Блин. За выходные так и не взялся сделать скрипт.

[Bizdelnick]

А на фига такие сложности? Требуется, как я понял, всего лишь зазеркалить содержимое конкретной папки.

Как бы не так. Требуется сделать зеркало всего репозитория для версии 2010 и архитектур x86_64, i586 (i686). Подобное нужно для организации зеркала в локальной сети провайдера.

Ну и

Код: Выделить всё

wget -m  -nH  -P /path/to/your/mirror/mandriva/official/2010.0 http://mirror.yandex.ru/mandriva/official/2010.0/

[BDag]

Ну и

Код: Выделить всё

wget -m  -nH  -P /path/to/your/mirror/mandriva/official/2010.0 http://mirror.yandex.ru/mandriva/official/2010.0/

нужен еще параметр -np чтобы в родительский каталог не переходил, т.е. скриптик получается такой:

Код: Выделить всё

#!/bin/bash
mpath=/path/to/local/mirror #путь где будет создано локальное зеркало
 ver=2010.0 #версия скичиваемого репозитория
 wget -m -np -P $mpath   http://mib.pianetalinux.org/$ver/{cfg,32,64,others,srpms}/
    #строка скичивания репозитория, в фигурных скобках указано что качать, лишнее можно убрать.
    #Если остается только один параметр, скобки д.б. убраны
    #если хотите выбрать более точно что можно скачать например в папке __ 32 __ вас интересует только __ basic __,
    #то в фигурных скобках указываете 32/basic
 find $mpath -type f -iname index.html* -exec rm -f {} \;
    #удаляем лишние индексные файлы из зеркала

[Pulfer]

wget -m -np -P $mpath http://mib.pianetalinux.org/$ver/{cfg...,others,srpms}/

Только ещё надо учесть нюанс, что для разных релизов Мандривы структура репозиториев разная. Раньше вместо 32/64 было i686/x86_64.

Т.е. лучше заранее посмотреть, как они устроены:

http://mib.pianetalinux.org/2010.0/
http://mib.pianetalinux.org/2009.1/
http://mib.pianetalinux.org/2009.0/
http://mib.pianetalinux.org/2008.1/

[Bizdelnick]

нужен еще параметр -np чтобы в родительский каталог не переходил, т.е. скриптик получается такой:

Это разве опцией -m не предусмотрено?

[BDag]

нужен еще параметр -np чтобы в родительский каталог не переходил, т.е. скриптик получается такой:

Это разве опцией -m не предусмотрено?

из хелпа:

-m, --mirror короткая опция, эквивалентная
-N -r -l inf --no-remove-listing.

[Bizdelnick]

-m, --mirror короткая опция, эквивалентная
-N -r -l inf --no-remove-listing.

А разве -r не подразумевает копирование только вложенных файлов?

[BDag]

-r - это включение рекурсии, а куда она поведет, это уже никого не волнует именно для того чтобы рекурсия не повела уровнем выше необходимо указывать -np.

wget --help
man wget
info wget

[yamah]

Всем спасибо за помощь.
Отдельное спасибо Pulfer и BDag.
Не совсем так как хотелось бы зазеркалился файл, но уже дальше прыгать можно!