вопрос по wget (очередь закачки)

[Dimon93rus]

Всем здрасте.
Такой вопрос, как сделать очередь закачки в wget?
если я делаю wget -i urllist, то он пытается качать сразу все ссылки, а мне нужно, чтобы он переходил к следующей ссылке после того как закачает текущую?
Заранее спасибо.

[Portnov]

Как это - "пытается качать сразу все ссылки" ? У меня, почему-то, он качает их по очереди

[mifistor]

Если команды разделить '&&', то следующая команда будет выполняться только в случае "успешного" (т.е. без кода ошибки) завершения предыдущей.

Например:

Код: Выделить всё

wget htpp://somehost/somefile && wget http://anyhost/anyfile

В данном случае сначала будет качаться somefile, если все завершиться успешно, то стартует закачка anyfile.
P.S. Но это конечно же "кривой" способ. Сейчас под рукой нет wget'a, но по-моему, из списка он качает в порядке очереди.

[Black]

Dimon93rus
А у вас ссылки в файле по одной на строку или все в одной строке? Не знаю что будет, если их все вписать одной строкой, проверять лень. Надо по одной на строку.

[Challenge]

еще можно wget link; wget link2; wgеt link3
так будет качать по завершении предыдущей закачки, несмотря на успешность завершения

[rm_]

Если команды разделить '&&', то следующая команда будет выполняться только в случае "успешного" (т.е. без кода ошибки) завершения предыдущей.

Например:

Код: Выделить всё

wget htpp://somehost/somefile && wget http://anyhost/anyfile

еще можно wget link; wget link2; wgеt link3
так будет качать по завершении предыдущей закачки, несмотря на успешность завершения

Господа теоретики вгета, да если ему просто в командной строке перечислить УРЛы через пробел, он их качает по очереди а не параллельно.
Внимание, вопрос: зачем вы учите людей пользоваться программой, если сами имеете крайне смутное представление о том, как она работает?

[grouzen]

еще можно wget link; wget link2; wgеt link3

а я делаю просто:
wget link1 link2 link3
и получается так что:

так будет качать по завершении предыдущей закачки, несмотря на успешность завершения

P.S. упс ...извиняюсь меня опередили (напечатал пост, а оправить забыл, пошел в магазин - вернулся и вот только щас отправил)

[Challenge]

Внимание, вопрос: зачем вы учите людей пользоваться программой, если сами имеете крайне смутное представление о том, как она работает?

Причем тут умение работы с wget. Это основы работы с башем и применимо к любой программе.

[rm_]

Причем тут умение работы с wget. Это основы работы с башем и применимо к любой программе.

Угу, а ещё вместо

Код: Выделить всё

wget -c URL1 URL2 URL3

можно посоветовать что-нибудь в духе

Код: Выделить всё

echo -e "URL1\nURL2\nURL3" | xargs wget -c

и говорить, "причём тут wget, это же основы работы с xargs, применительно к любой программе".

[--=Civil696=--]

Причем тут умение работы с wget. Это основы работы с башем и применимо к любой программе.

вся прелесть работы в баше это заставить его делать то что самому делать лень, а конструкции вроде
wget url; wget url или wget url && wget url
не есть пример правильной работы в баше, а по большому счёту есть мозахизм чистой воды

если под "пытается качать сразу все ссылки" подразумевается чтото вроде этого:

Код: Выделить всё

navi ~ $ wget -i ЫЫ
--2008-08-25 10:21:54--  http://linuxforum.ru/style_images/1/t_reply.gif%20http://linuxforum.ru/style_images/1/p_up.gif
Распознаётся linuxforum.ru... 88.212.205.226
Устанавливается соединение с linuxforum.ru|88.212.205.226|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 404 Not Found
2008-08-25 10:21:54 ОШИБКА 404: Not Found.

то проблема скорей всего в том что ссылки в файле идут через пробел, а не по одной на строку
если надо использовать файл в таком формате то мона сделать так
wget $(cat ЫЫ) #ЫЫ - файл со ссылками через пробел

добавлено: блин ток сейчас дату прочитал, надеюсь ещё актуально

[Dimon93rus]

Причем тут умение работы с wget. Это основы работы с башем и применимо к любой программе.

вся прелесть работы в баше это заставить его делать то что самому делать лень, а конструкции вроде
wget url; wget url или wget url && wget url
не есть пример правильной работы в баше, а по большому счёту есть мозахизм чистой воды

если под "пытается качать сразу все ссылки" подразумевается чтото вроде этого:

Код: Выделить всё

navi ~ $ wget -i ЫЫ
--2008-08-25 10:21:54--  http://linuxforum.ru/style_images/1/t_reply.gif%20http://linuxforum.ru/style_images/1/p_up.gif
Распознаётся linuxforum.ru... 88.212.205.226
Устанавливается соединение с linuxforum.ru|88.212.205.226|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 404 Not Found
2008-08-25 10:21:54 ОШИБКА 404: Not Found.

то проблема скорей всего в том что ссылки в файле идут через пробел, а не по одной на строку
если надо использовать файл в таком формате то мона сделать так
wget $(cat ЫЫ) #ЫЫ - файл со ссылками через пробел

добавлено: блин ток сейчас дату прочитал, надеюсь ещё актуально

Да, актуально (просто был на море )
Ссылки в файле расположены по одной в каждой строчке.
Данный случай тестировался на mediazona.ru а там можно качать файлы только по одному, к тому же там не совсем обычные ссылки получаются. Что-то вроде: http://mediazona.ru/8yuitygfshg7wy56tw/file.rar?link=743586
может это тоже влияет, но факт в том что wget не качает если ему скармливать файл

[bukakusa]

Причем тут умение работы с wget. Это основы работы с башем и применимо к любой программе.

вся прелесть работы в баше это заставить его делать то что самому делать лень, а конструкции вроде
wget url; wget url или wget url && wget url
не есть пример правильной работы в баше, а по большому счёту есть мозахизм чистой воды

если под "пытается качать сразу все ссылки" подразумевается чтото вроде этого:

Код: Выделить всё

navi ~ $ wget -i ЫЫ
--2008-08-25 10:21:54--  http://linuxforum.ru/style_images/1/t_reply.gif%20http://linuxforum.ru/style_images/1/p_up.gif
Распознаётся linuxforum.ru... 88.212.205.226
Устанавливается соединение с linuxforum.ru|88.212.205.226|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 404 Not Found
2008-08-25 10:21:54 ОШИБКА 404: Not Found.

то проблема скорей всего в том что ссылки в файле идут через пробел, а не по одной на строку
если надо использовать файл в таком формате то мона сделать так
wget $(cat ЫЫ) #ЫЫ - файл со ссылками через пробел

добавлено: блин ток сейчас дату прочитал, надеюсь ещё актуально

Да, актуально (просто был на море )
Ссылки в файле расположены по одной в каждой строчке.
Данный случай тестировался на mediazona.ru а там можно качать файлы только по одному, к тому же там не совсем обычные ссылки получаются. Что-то вроде: http://mediazona.ru/8yuitygfshg7wy56tw/file.rar?link=743586
может это тоже влияет, но факт в том что wget не качает если ему скармливать файл

а можно хотя бы посмотреть вывод ошибок и т.п.
а то telepat mode не есть хорошо, да и Вам вряд ли поможет

[Flaming]

Господа теоретики вгета, да если ему просто в командной строке перечислить УРЛы через пробел, он их качает по очереди а не параллельно.
Внимание, вопрос: зачем вы учите людей пользоваться программой, если сами имеете крайне смутное представление о том, как она работает?

Прикольно, а я не знал, всегда разделял точкой с запятой. Теперь буду знать, спасибо.

[Dimon93rus]

Вот лог:

Код:

$ wget -i list --01:24:07-- http://ex.mediazona.ru/exchange/get/d33ffa...ar?link=4555401 => `d33ffa41bff7f65156d2defc4aa41975.rar?link=4555401' Преобразование адреса ex.mediazona.ru... 62.183.39.179 Устанавливается соединение с ex.mediazona.ru|62.183.39.179|:80... соединились. Запрос HTTP послан, ожидание ответа... 200 OK Длина: 75 856 622 (72M) [application/x-force-download] d33ffa41bff7f65156d2defc4aa41975.rar?link=4555401: Invalid argument Ошибка записи в `d33ffa41bff7f65156d2defc4aa41975.rar?link=4555401' (Invalid argument). --01:24:19-- http://ex.mediazona.ru/exchange/get/d0f595...ar?link=4555473 => `d0f5954377ab0b170c9c3bc5b195f4f2.rar?link=4555473' Устанавливается соединение с ex.mediazona.ru|62.183.39.179|:80... соединились. Запрос HTTP послан, ожидание ответа... 503 Service Temporarily Unavailable 01:24:19 ОШИБКА 503: Service Temporarily Unavailable. --01:24:19-- http://ex.mediazona.ru/exchange/get/6f0173...ar?link=4555525 => `6f0173a644f9d630045d485974815cf9.rar?link=4555525' Повторное использование соединения с ex.mediazona.ru:80. Запрос HTTP послан, ожидание ответа... 503 Service Temporarily Unavailable 01:24:20 ОШИБКА 503: Service Temporarily Unavailable.

Похоже что ему не нравится приставка типа ?link=4555473, но дело в том, что там все ссылки такие
P.S. На медиазоне ошибка 503 возникает когда ты уже качаешь один файл, и пытаешься скачать ещё что-нибудь

[Portnov]

Первая ошибка (Invalid argument) - это, похоже, wget не может записать файл с таким именем почему-то. Попробуйте задать имя выходного файла явно.

[--=Civil696=--]

Похоже что ему не нравится приставка типа ?link=4555473, но дело в том, что там все ссылки такие
P.S. На медиазоне ошибка 503 возникает когда ты уже качаешь один файл, и пытаешься скачать ещё что-нибудь

Сильно сомневаюсь что проблема в приставке ?link=4555473
Ибо только недавно скачал с коначана 141 страницу вида tag?order=date&page=номер_страницы правда сохраняет он их именно в таком виде, но для меня это было не критично, да и как уже было написано выше можно задать имя файла для сохранения
Мне вот что интересно, а с mediazone вообще качалками качать мона? Не может к примеру при переходе по ссылке из браузера проверяться к примеру кто вы, авторизованный пользователь или какой нибудь, проходящий мимо, дядя с улицы(при помощи cookies или чего то там такого, честно говоря довольно слабо представляю как всё это работает, но это реализуемо, попробуйте к примеру на этом форуме аттач не авторизовавшись скачать)?

[Dimon93rus]

Похоже что ему не нравится приставка типа ?link=4555473, но дело в том, что там все ссылки такие
P.S. На медиазоне ошибка 503 возникает когда ты уже качаешь один файл, и пытаешься скачать ещё что-нибудь

Сильно сомневаюсь что проблема в приставке ?link=4555473
Ибо только недавно скачал с коначана 141 страницу вида tag?order=date&page=номер_страницы правда сохраняет он их именно в таком виде, но для меня это было не критично, да и как уже было написано выше можно задать имя файла для сохранения
Мне вот что интересно, а с mediazone вообще качалками качать мона? Не может к примеру при переходе по ссылке из браузера проверяться к примеру кто вы, авторизованный пользователь или какой нибудь, проходящий мимо, дядя с улицы(при помощи cookies или чего то там такого, честно говоря довольно слабо представляю как всё это работает, но это реализуемо, попробуйте к примеру на этом форуме аттач не авторизовавшись скачать)?

Ну там, во-первых, проверяется авторизовались вы или нет, а во-вторых, являетесь ли вы абонентом ЮТК или нет (по ip наверно), и если нет, то тасуйтесь..... Там лучше всего использовать плагин flashgot, или же просто открывать все куски во вкладках, а потом всё это скормить качалке....
Сейчас поставил на закачку список и назначил выходное имя файла, вроде качает, но как будут называться последующие файлы в списке. Например: была команда: wget -i list -O file, то последующие файлу будут типа file1, file2 и т.д.?
UPD: как-то странно получилось, сначала качался один архив и сохранялся под именем file, а потом начал качаться второй, и сохраняться в файл с таким же именем... но что интересно, так это то, что размер полученного в итоге файла, равен сумме этих двух архивов , но а содержимое внутри только от первого архива! что посоветуете?

[tgwlab]

А для wget морды нет?((

[Flaming]

Есть, и даже по-моему не одна...

[tgwlab]

Есть, и даже по-моему не одна...

А хоть одну узнать бы как называется. Желательно что получше...

[eduard_pustobaev]

А хоть одну узнать бы как называется. Желательно что получше...

gwget, kwebget

[pcodr]

Похоже что ему не нравится приставка типа ?link=4555473, но дело в том, что там все ссылки такие

А вы случаем не на виндовую файловую систему сохраняете?
Напомню что в таких ФС запрещены имена файлов содержащие следующие символы:

Код: Выделить всё

\/:*?"<>|

[t.t]

P.S. На медиазоне ошибка 503 возникает когда ты уже качаешь один файл, и пытаешься скачать ещё что-нибудь

А на этот счёт смотрите man wget на предмет пауз (таймаутов) между закачками.

[Dimon93rus]

Похоже что ему не нравится приставка типа ?link=4555473, но дело в том, что там все ссылки такие

А вы случаем не на виндовую файловую систему сохраняете?
Напомню что в таких ФС запрещены имена файлов содержащие следующие символы:

Код: Выделить всё

\/:*?"<>|

Вот это я тупанул..... (не пинайте меня сильно ногами )

P.S. На медиазоне ошибка 503 возникает когда ты уже качаешь один файл, и пытаешься скачать ещё что-нибудь

А на этот счёт смотрите man wget на предмет пауз (таймаутов) между закачками.

Да тут тайм ауты не пичём, т.к. от туда можно тянуть только по одному файлу

[t.t]

Да тут тайм ауты не пичём, т.к. от туда можно тянуть только по одному файлу

Раз оно ругается ошибкой 503, то очень даже при чём: эта ошибка как раз о том и говорит, что файлы, запрашиваемые подряд, без таймаута, сервер и воспринимает как "не по одному".

[Dimon93rus]

Да тут тайм ауты не пичём, т.к. от туда можно тянуть только по одному файлу

Раз оно ругается ошибкой 503, то очень даже при чём: эта ошибка как раз о том и говорит, что файлы, запрашиваемые подряд, без таймаута, сервер и воспринимает как "не по одному".

Хм, спасибо.... сегодня буду тестить...
А какой примерно поставить таймаут не подскажите?
Хотя, я больше склоняюсь к ошибке описанной pcodr, т.к. когда я качал с ключом -О никаких ошибок не возникало, за исключением сохранения (см. в сообщении №17)....

[t.t]

Хотя, я больше склоняюсь к ошибке описанной pcodr, т.к. когда я качал с ключом -О никаких ошибок не возникало, за исключением сохранения (см. в сообщении №17)....

Больше похоже, что эти две ошибки не связаны между собой, т.к. одна из них на стороне сервера, а другая, напротив, чисто локальная. Но если не возникает, то тогда и таймаут не нужен, конечно.

А какой примерно поставить таймаут не подскажите?

А это только опытным путём. Я именно с этого сайта никогда ничего не качал, потому не скажу. В некоторых случаях даже --random-wait может понадобиться.

[Snupt]

Похоже что ему не нравится приставка типа ?link=4555473

Всю ссылку попробуйте взять в кавычки (двойные или одинарные, не столь важно). Тогда будет качать.

[t.t]

Всю ссылку попробуйте взять в кавычки (двойные или одинарные, не столь важно). Тогда будет качать.

Читай внимательнее:

А вы случаем не на виндовую файловую систему сохраняете?

Вот это я тупанул

(;

[Snupt]

Я это прочитал, но не понял логики