Возможности wget

[vafrolov]

Имеется сетка: сервак и несколько компов, везде установлен Linux, выход в инет через сервер. Можно коннектиться на любой комп, в том числе и сервак через ssh. На каждый комп выделен траффик, который не зависит от других компьютеров.
Очень интересно, как сделать, чтобы законнектясь например на все компы, запустить закачку какого либо файла по частям, как это делает например ReGet, только, чтобы каждую часть качал отдельный комп. И как эти части потом обьединить.

[pzp-5]

Очень интересно, как сделать, чтобы законнектясь например на все компы, запустить закачку какого либо файла по частям, как это делает например ReGet, только, чтобы каждую часть качал отдельный комп. И как эти части потом обьединить.

"Купаясь" в широком канале
Если вы один из немногих избранных, имеющих широкий канал, и скорость скачивания файлов ограничивается только на стороне web-сервера, то ускорить процесс пересылки файла может помочь следующий трюк. Вам потребуется применение curl и наличие нескольких зеркальных веб-сайтов, на которых хранятся идентичные копии нужного файла. Например, вам нужно скачать ISO Mandrake 8.2 из следующих трех мест:
url1=http://ftp.eecs.umich.edu/ pub/linux/mandrake/iso/Mandrake82-inst.iso
url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake82-inst.iso
url3=http://ftp.wayne.edu/linux/ mandrake/iso/Mandrake82-inst.iso
Длина файла равна 677281792, поэтому запустим три одновременных скачивания с помощью опции curl "--range" option:
bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 &
bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 &
bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &
Создаются три фоновых процесса скачивания, каждый из которых копирует разные части ISO-образа с разных серверов. Опции "-r" задают поддиапазоны байтов, выбираемых из целевого файла. По завершению просто объедините с помощью cat все три части вместе - cat mdk-iso.part? > mdk-82.iso. (Настоятельно рекомендуем проверить md5 hash до записи на CD-R.) Запуск каждого curl в своем собственном окне с опцией "--verbose" позволяет отследить каждый процесс скачивания.

©перто http://lib.k6.ru/ (только ссылка "битая")