wget. скачивание определенного диапазона файлов (аналог ОЕ'шной функции index{1...22}.html. Есть ли аналог)

Модератор: /dev/random

Аватара пользователя
estaf
Сообщения: 459
ОС: archLinux какой-то x86_64

wget. скачивание определенного диапазона файлов

Сообщение estaf »

нужно скачать определенный диапазон файлов. То есть, не по маске index*.htm, а по диапазону, как указал в заголовке поста. man wget ничего, на этот счет, не выдал. Может, я плохо искал.
Прошу помочь с этим моментом.
Спасибо сказали:
Аватара пользователя
sash-kan
Администратор
Сообщения: 13939
Статус: oel ngati kameie
ОС: GNU

Re: wget. скачивание определенного диапазона файлов

Сообщение sash-kan »

estaf
1. формируешь спискок файлов.
2. скармливаешь их wget-у.
Писать безграмотно - значит посягать на время людей, к которым мы адресуемся, а потому совершенно недопустимо в правильно организованном обществе. © Щерба Л. В., 1957
при сбоях форума см.блог
Спасибо сказали:
Аватара пользователя
diesel
Бывший модератор
Сообщения: 5989
ОС: OS X, openSuSE, ROSA, Debian

Re: wget. скачивание определенного диапазона файлов

Сообщение diesel »

Если в самом wget-e средств нету, то можно например так:

Код: Выделить всё

  for i in `seq 1 22`; do wget http://domain.com/index$i.html; done
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: wget. скачивание определенного диапазона файлов

Сообщение serzh-z »

diesel писал(а):
21.07.2006 17:39
Если в самом wget-e средств нету, то можно например так:
:D Вот же блин. Десять минут пролазил по манам и, не зная про seq, написал лишь такого уродца:

Код: Выделить всё

#!/bin/bash

n=0
files=''
while [ ${n} -lt 58 ]; do
    [ ${n} -gt 19 ] && files="${files} index${n}.html"

    n=$((${n} + 1))
done
wget ${files}


Сэнкс, за seq.
Спасибо сказали:
backslash
Сообщения: 125

Re: wget. скачивание определенного диапазона файлов

Сообщение backslash »

diesel, решение работает, но при этом запускается 22 экземпляра wget. Возможно, удобней сделать так:

Код: Выделить всё

seq -fhttp://domain.com/index%g.html 1 22 | wget -i -


Кстати, рекомендуется посмотреть man seq - довольно просто (например, при помощи '-w') сформировать и вывод вида 01..22 (часто бывает нужно).
Спасибо сказали:
jsv
Сообщения: 67

Re: wget. скачивание определенного диапазона файлов

Сообщение jsv »

К слову сказать, в zsh и bash 3 можно писать прямо, как в заголовке поста:

Код: Выделить всё

wget http://domain.com/index{1..22}.html


Разумеется, при этом можно уткнуться в ограничение на максимальную длину командной строки. Но обычно хватает. :)
Спасибо сказали:
wRAR
Сообщения: 372
ОС: ALT Linux Sisyphus

Re: wget. скачивание определенного диапазона файлов

Сообщение wRAR »

man curl
ALT Linux Team
SIM-IM Development Team
Antilamer
Спасибо сказали:
Аватара пользователя
alv
Бывший модератор
Сообщения: 7275
Статус: Пенсионер в законе
ОС: Cintu

Re: wget. скачивание определенного диапазона файлов

Сообщение alv »

а проще всего такие вещи делаются в lftp - точно как в любом шелле
Спасибо сказали:
wRAR
Сообщения: 372
ОС: ALT Linux Sisyphus

Re: wget. скачивание определенного диапазона файлов

Сообщение wRAR »

(alv @ Jul 25 2006, в 01:37) писал(а):а проще всего такие вещи делаются в lftp - точно как в любом шелле

lftp интерактивен.
ALT Linux Team
SIM-IM Development Team
Antilamer
Спасибо сказали:
Аватара пользователя
alv
Бывший модератор
Сообщения: 7275
Статус: Пенсионер в законе
ОС: Cintu

Re: wget. скачивание определенного диапазона файлов

Сообщение alv »

wRAR писал(а):
25.07.2006 09:20
(alv @ Jul 25 2006, в 01:37) писал(а):
а проще всего такие вещи делаются в lftp - точно как в любом шелле

lftp интерактивен.

этим и удобен - когда точно не знаешь, что именно надо качать :)
так что в этом смысле он не заменяет wget, а дополняет
кстати, и в командном режиме его тоже ведь можно пользовать
Спасибо сказали:
Аватара пользователя
estaf
Сообщения: 459
ОС: archLinux какой-то x86_64

Re: wget. скачивание определенного диапазона файлов

Сообщение estaf »

curl -x 127.0.0.1:3128 http://www.url.org/DSC87812[001-125].jpg -o image_#1.jpg

на сколько знаю, lftp нужно еще подлезть впапку с такими файлами. не все папки имеют такой доступ.

Все равно, всем огромная Благодарность.
Спасибо сказали:
Аватара пользователя
estaf
Сообщения: 459
ОС: archLinux какой-то x86_64

Re: wget. скачивание определенного диапазона файлов

Сообщение estaf »

Другое дело, что это не панацея. Если идет что-то не так, то приходится заново разбираться, в чем дело.
к пример, происходит скачка пустых файлов тогда, когда точно такой же путь лежит на сайте.

Попробую через wine запустить offline explorer. может, эта вещь будет работать через wine.
Спасибо сказали:
wRAR
Сообщения: 372
ОС: ALT Linux Sisyphus

Re: wget. скачивание определенного диапазона файлов

Сообщение wRAR »

(estaf @ Jul 26 2006, в 03:15) писал(а):Попробую через wine запустить offline explorer.

А что это и что делает?
ALT Linux Team
SIM-IM Development Team
Antilamer
Спасибо сказали:
SHK
Сообщения: 2
ОС: AspLinux 11

Re: wget. скачивание определенного диапазона файлов

Сообщение SHK »

estaf писал(а):
26.07.2006 01:15
Попробую через wine запустить offline explorer. может, эта вещь будет работать через wine.


www.httrack.com - классный даулоадер сайтов и файлов с хорошими опциями. Под форточки и под линух всех видов. Юзаю, проблем не имею.
Спасибо сказали: