Создание зеркала с помощью wget (wget зацикливается)

Модератор: /dev/random

Ответить
VZhiK84
Сообщения: 67
ОС: OpenSUSE 11.1, SLES 10

Создание зеркала с помощью wget

Сообщение VZhiK84 »

Помогите с wget'ом. Чтение манов ни к чему не привела. Есть сервер (sbis.ru/updates/220). Требуется сделать зеркало, но как-то исключить скачивание "sbis.ru/updates/220/?C=S;O=A" и index.html с другими опциями. Команда wget -r -l 1 -A *.zip http://sbis.ru/updates/220/ зацикливается на

Код:

--2009-02-04 19:46:14-- http://sbis.ru/updates/cert/?C=M;O=A Устанавливается соединение с sbis.ru|213.187.98.9|:80... соединение установлено. Запрос HTTP послан, ожидается ответ... 200 OK Длина: нет информации [text/html] Сохраняется в каталог: `sbis.ru/updates/cert/index.html?C=M;O=A'. [ <=> ] 614 386 78,9K/s в 7,6s 2009-02-04 19:46:24 (78,9 KB/s) - `sbis.ru/updates/cert/index.html?C=M;O=A' сохранён [614386] Удаляется sbis.ru/updates/cert/index.html?C=M;O=A, т.к. он должен быть исключён.

И снова по кругу.
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5289
ОС: Gentoo

Re: Создание зеркала с помощью wget

Сообщение /dev/random »

Добавте флаг -np. Флаг -l 1, думаю, не обязателен. И ещё, маску *.zip лучше взять в кавычки.
Спасибо сказали:
VZhiK84
Сообщения: 67
ОС: OpenSUSE 11.1, SLES 10

Re: Создание зеркала с помощью wget

Сообщение VZhiK84 »

-np - это no parent, т.е. не подниматься выше указанной директории, проблема у меня не в этом, а в том, что он качает индексы в нескольких вариантах (?C=S;O=A и т.д.)
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Создание зеркала с помощью wget

Сообщение rm_ »

а в том, что он качает индексы в нескольких вариантах (?C=S;O=A и т.д.)

Проблема в том, что он их удаляет сразу после скачивания.

Попробуйте вот так:

Код: Выделить всё

wget -r -l 1 -np -A '*.zip,index.html*' http://sbis.ru/updates/220/
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5289
ОС: Gentoo

Re: Создание зеркала с помощью wget

Сообщение /dev/random »

VZhiK84 писал(а):
05.02.2009 09:48
-np - это no parent, т.е. не подниматься выше указанной директории, проблема у меня не в этом, а в том, что он качает индексы в нескольких вариантах (?C=S;O=A и т.д.)

Так в том то и дело, что у вас поднимается. Он у вас зацикливается не на каталоге 220, а на каталоге cert, который вы не заказывали.
Спасибо сказали:
VZhiK84
Сообщения: 67
ОС: OpenSUSE 11.1, SLES 10

Re: Создание зеркала с помощью wget

Сообщение VZhiK84 »

Каталог cert я указал для примера (он точно такой же как и 220, только там размер файлов меньше и поэтому удобно экспериментировать). Проблема именно в том, что wget тыкает на все вподряд ссылочки, а 3 из них - сортировка по дате/размеру/имени. В итоге он начинает скачивать сначала обычный индекс, затем с сортировкой по дате, затем с сортировкой по имени и т.д. и на них зацикливается, а мне эти индексы нафик не нужны...
Спасибо сказали:
Аватара пользователя
rm_
Сообщения: 3340
Статус: It's the GNU Age
ОС: Debian
Контактная информация:

Re: Создание зеркала с помощью wget

Сообщение rm_ »

VZhiK84
Столько букв, зачем?
Сообщение номер четыре, начиная со слова "Попробуйте".
Скачаются несколько (4-6) вариантов индексов, дальше пойдут качаться сами zip-файлы. Без зацикливания.
Спасибо сказали:
VZhiK84
Сообщения: 67
ОС: OpenSUSE 11.1, SLES 10

Re: Создание зеркала с помощью wget

Сообщение VZhiK84 »

"Скачаются несколько (4-6) вариантов индексов" - как от этого отказаться? Т.е. как не давать wget'у их скачивать?
Спасибо сказали:
Ответить