Wget (скачать сайт)

typus · Сообщение **typus** » 22.10.2009 01:14

Сегодня еще раз столкнулся с тем, что wget скачивает с нужного сайта не все файлы. Причем, не могу понять принцип, по которому это происходит...Для примера - сайт очень простой, один уровень, скачивается вместо 8,5 только 5 с чем то мб. Не скачиваются несколько рисунков и несколько html страниц. Почему?
Посмотрите сами- _http://zwieselhirsch.de/
Может, все таки какие то аргументы не учитываю?
Делаю wget -c -r -k -np http://www.сайт.ком/ , но в принципе с одним только рекурсивным -r тот же результат - по какому то неясному мне принципу ряд файлов не скачивается, хоть ты тресни..Рядом абсолютно идентичный файл - скачивается.
Объясните, плз, с чем может быть связано.
ps. сайт приведен как пример, иногда, с некоторыми сайтами, происходит точно так, как в этом случае с примером....

Luinnar · Сообщение **Luinnar** » 22.10.2009 12:21

Похоже, что там некоторые изображения подкачиваются динамически, может, в этом дело...
А вообще, лучше всего исследовать на конкретном примере, гляньте какой файл у вас не закачался, далее поищите его в файлах сайта.

typus · Сообщение **typus** » 22.10.2009 13:28

Я как раз на этом примере и исследую - http://zwieselhirsch.de/
Там несколько рисунков, и несколько html-файлов не скачиваются.
Чем они отличаются от точно таких же, лежащих рядом, которые скачиваются, не могу понять.
Wget-ом для виндовс получаю такой же результат, а вот, например, OfflineExplorer скачивает все файлы,без исключения..
правда, при этом, некоторые скрипты почему то криво..поэтому, пока, чтобы получить какой то результат,сравниваю два варианта, скачанные этими двумя способами, после объединения с правильным замещением получаю вроде бы полный рабочий вариант.
Однако все таки хотелось бы с wget -ом разобраться, где там все таки собака порылась..

fed71 · Сообщение **fed71** » 22.10.2009 14:38

Ну если стоит задача скачивать сайты, то может стоит попробовать спецприблуду для сего дела? Называется httrack (консольная) и вебморда к ней webhttrack. В репах имеется. Ознакомится тут
http://www.httrack.com/

Сообщение **/dev/random** » 22.10.2009 14:47

Какой именно рисунок не скачивается?

typus · Сообщение **typus** » 22.10.2009 14:57

/dev/random писал(а): ↑
22.10.2009 14:47
Какой именно рисунок не скачивается?

например Button Angebote rosa WFW.png
Hintergrundbild50.gif
и файлы Pauschale Laeufer .htm,
Pauschale Sommer.html,
Pauschale Weihnachten.htm
при этом Pauschale Schnupper .htm скачивается...
Щас попробовал, залить все на подконтрольный мне хост, выставить везде права полные, и скачать - все тот же результат, скачано 5,3 мб, те же файлы не качаются..

fed71 писал(а): ↑
22.10.2009 14:38
Ну если стоит задача скачивать сайты, то может стоит попробовать спецприблуду для сего дела? Называется httrack (консольная) и вебморда к ней webhttrack. В репах имеется. Ознакомится тут
http://www.httrack.com/

Спасибо, щас посмотрю

Сообщение **Bizdelnick** » 22.10.2009 14:59

А если добавить --user-agent="<что-нибудь отсюда>"?

Сообщение **/dev/random** » 22.10.2009 15:18

Во-первых, добавьте ключ -p
Изображения, указываемые через css, могут быть скачаны только таким образом.
Во-вторых, попробуйте походить по сайту с noscript. То, что при этом исчезнет, вы не сможете автоматически скачать никак и никогда.

typus · Сообщение **typus** » 22.10.2009 15:56

/dev/random писал(а): ↑
22.10.2009 15:18
Во-первых, добавьте ключ -p
Изображения, указываемые через css, могут быть скачаны только таким образом.
Во-вторых, попробуйте походить по сайту с noscript. То, что при этом исчезнет, вы не сможете автоматически скачать никак и никогда.

вроде бы -p там уже есть...ну да добавил еще раз.
Я ж говорю, речь не только о картинках, да и сайт намеренно примитивный, ни одного css там нет.
по поводу носкрипт. Не совсем понятно, какое отношение имеет аддон браузера к файлам, лежащим на удаленном сервере, что если этот аддон их блокирует, то я их не смогу скачать...
Ну да ладно, неважно, опять таки...носкрипт блокирует единственную флешку, часы, сама флешка вообще на своем серваке...

Bizdelnick писал(а): ↑
22.10.2009 14:59
А если добавить --user-agent="<что-нибудь отсюда>"?

не помогло, несколько попробовал..

http://www.httrack.com/

посмотрел, скачивает вроде почти корректно..правда почему то медленно..5 минут, там где вгет работает 10-15 секунд...

Сообщение **/dev/random** » 22.10.2009 16:09

typus писал(а): ↑
22.10.2009 15:56
вроде бы -p там уже есть...ну да добавил еще раз.

Hintergrundbild50.gif не качается только если забыть указать -p. Вы сказали, что он не качается.

typus писал(а): ↑
22.10.2009 15:56
Я ж говорю, речь не только о картинках, да и сайт намеренно примитивный, ни одного css там нет.

Есть, встроенные в html. В частности, Hintergrundbild50.gif подгружается именно через css.

typus писал(а): ↑
22.10.2009 15:56
по поводу носкрипт. Не совсем понятно, какое отношение имеет аддон браузера к файлам, лежащим на удаленном сервере, что если этот аддон их блокирует, то я их не смогу скачать...

Очень просто. Некоторые изображения подгружаются не через html, а через javascript (который на сайте ЕСТЬ!). Ни одна качалка (кроме использующих браузеры в своей работе) не умеет выполнять javascript, а значит не сможет загрузить то, что подгружается через него.

Сообщение **Bizdelnick** » 22.10.2009 16:22

typus писал(а): ↑
22.10.2009 14:57
/dev/random писал(а): ↑
22.10.2009 14:47
Какой именно рисунок не скачивается?

например Button Angebote rosa WFW.png
Hintergrundbild50.gif
и файлы Pauschale Laeufer .htm,
Pauschale Sommer.html,
Pauschale Weihnachten.htm
при этом Pauschale Schnupper .htm скачивается...
Щас попробовал, залить все на подконтрольный мне хост, выставить везде права полные, и скачать - все тот же результат, скачано 5,3 мб, те же файлы не качаются..

fed71 писал(а): ↑
22.10.2009 14:38
Ну если стоит задача скачивать сайты, то может стоит попробовать спецприблуду для сего дела? Называется httrack (консольная) и вебморда к ней webhttrack. В репах имеется. Ознакомится тут
http://www.httrack.com/

Спасибо, щас посмотрю

Hintergrundbild50.gif как раз в CSS указан.

Код: Выделить всё

<style type="text/css">
<!--
body {
    background-image: url(Hintergrundbild50.gif);
}
.Stil1 {
    color: #990000;
    font-weight: bold;
}
.Stil7 {color: #FF0000}
.Stil8 {
    color: #006633;
    font-weight: bold;
}
-->
</style>

Ссылок на Pauschale*.htm кроме "Pauschale Schnupper.htm" (с "Preisliste 2008.html") в упор не вижу.
Что-то есть у меня сомнения, что виноваты лыжи...
Вы вообще в курсе, что wget выкачивает не все файлы с сервера, а только те, на которые ведут ссылки с указанной страницы?

typus · Сообщение **typus** » 22.10.2009 16:28

Hintergrundbild50.gif не качается только если забыть указать -p. Вы сказали, что он не качается.

не качается, независимо от того, указал я -р, или нет..только что еще раз проверил...

Сообщение **/dev/random** » 22.10.2009 16:39

typus писал(а): ↑
22.10.2009 16:28
не качается, независимо от того, указал я -р, или нет..только что еще раз проверил...

Между прочим, в вашем первом посте опции -p нет. Вы не путаете её с -np?

Вот я запускаю закачку:

Код: Выделить всё

$ wget -c -r -k -np -p http://zwieselhirsch.de/
--2009-10-22 16:34:55--  http://zwieselhirsch.de/
Распознаётся zwieselhirsch.de... 80.150.6.143
Устанавливается соединение с zwieselhirsch.de|80.150.6.143|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 12963 (13K) [text/html]
Saving to: «zwieselhirsch.de/index.html»

100%[============================================================================
================================================================================
=
=============>] 12 963      6,72K/s   в 1,9s

2009-10-22 16:35:00 (6,72 KB/s) - «zwieselhirsch.de/index.html» saved [12963/12963]

Загружается robots.txt; не обращайте внимание на ошибки.
--2009-10-22 16:35:00--  http://zwieselhirsch.de/robots.txt
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 404 Not Found
2009-10-22 16:35:01 ОШИБКА 404: Not Found.

--2009-10-22 16:35:01--  http://zwieselhirsch.de/Hintergrundbild50.gif
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 1849508 (1,8M) [image/gif]
Saving to: «zwieselhirsch.de/Hintergrundbild50.gif»

(дальше я обрываю, чтобы не тратить трафик. Как видите, файл начал качаться).
Предоставьте такой же лог, захватывая и команду, которую вводите.

typus · Сообщение **typus** » 22.10.2009 17:27

Предоставьте такой же лог, захватывая и команду, которую вводите.

к сожалению, не могу захватить вместе с командой, не хватает консоли..но вот лог сохранить могу - гарантирую, что полностью повторяю вашу команду

Код: Выделить всё

--15:18:12--  http://zwieselhirsch.de/
           => `zwieselhirsch.de/index.html'
Распознаётся zwieselhirsch.de... 80.150.6.143
Устанавливается соединение с zwieselhirsch.de|80.150.6.143|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 12 963 (13K) [text/html]

    0K .......... ..                                         100%  334.85 KB/s

15:18:32 (334.85 KB/s) - `zwieselhirsch.de/index.html' сохранён [12963/12963]

Загружается robots.txt; не обращайте внимание на ошибки.
--15:18:32--  http://zwieselhirsch.de/robots.txt
           => `zwieselhirsch.de/robots.txt'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 404 Not Found
15:18:32 ОШИБКА 404: Not Found.

--15:18:32--  http://zwieselhirsch.de/ueberschrift%20erste%20seite.png
           => `zwieselhirsch.de/ueberschrift erste seite.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 37 509 (37K) [image/png]

    0K .......... .......... .......... ......               100%    1.21 MB/s

15:18:32 (1.21 MB/s) - `zwieselhirsch.de/ueberschrift erste seite.png' сохранён [37509/37509]

--15:18:32--  http://zwieselhirsch.de/hirsch%20transparent.png
           => `zwieselhirsch.de/hirsch transparent.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 220 067 (215K) [image/png]

    0K .......... .......... .......... .......... .......... 23%    1.24 MB/s
   50K .......... .......... .......... .......... .......... 46%    1.55 MB/s
  100K .......... .......... .......... .......... .......... 69%    1.62 MB/s
  150K .......... .......... .......... .......... .......... 93%    1.43 MB/s
  200K .......... ....                                       100%  999.80 KB/s

15:18:33 (1.40 MB/s) - `zwieselhirsch.de/hirsch transparent.png' сохранён [220067/220067]

--15:18:33--  http://zwieselhirsch.de/Postkarte%20Kopie%20Kopie.png
           => `zwieselhirsch.de/Postkarte Kopie Kopie.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 989 164 (966K) [image/png]

    0K .......... .......... .......... .......... ..........  5% 1014.18 KB/s
   50K .......... .......... .......... .......... .......... 10%    1.61 MB/s
  100K .......... .......... .......... .......... .......... 15%    1.57 MB/s
  150K .......... .......... .......... .......... .......... 20%    1.72 MB/s
  200K .......... .......... .......... .......... .......... 25%    1.57 MB/s
  250K .......... .......... .......... .......... .......... 31%    1.63 MB/s
  300K .......... .......... .......... .......... .......... 36%    1.53 MB/s
  350K .......... .......... .......... .......... .......... 41%  504.91 KB/s
  400K .......... .......... .......... .......... .......... 46%  154.47 KB/s
  450K .......... .......... .......... .......... .......... 51%   56.13 MB/s
  500K .......... .......... .......... .......... .......... 56%  172.98 MB/s
  550K .......... .......... .......... .......... .......... 62%  665.25 KB/s
  600K .......... .......... .......... .......... .......... 67%  911.87 KB/s
  650K .......... .......... .......... .......... .......... 72%    1.53 MB/s
  700K .......... .......... .......... .......... .......... 77%    1.64 MB/s
  750K .......... .......... .......... .......... .......... 82%    1.56 MB/s
  800K .......... .......... .......... .......... .......... 87%    1.61 MB/s
  850K .......... .......... .......... .......... .......... 93%    1.53 MB/s
  900K .......... .......... .......... .......... .......... 98%    1.62 MB/s
  950K .......... .....                                      100%    1.56 MB/s

15:18:34 (984.56 KB/s) - `zwieselhirsch.de/Postkarte Kopie Kopie.png' сохранён [989164/989164]

--15:18:34--  http://zwieselhirsch.de/Chef%20de%20cuisine.htm
           => `zwieselhirsch.de/Chef de cuisine.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 5 346 (5.2K) [text/html]

    0K .....                                                 100%  363.45 KB/s

15:18:34 (363.45 KB/s) - `zwieselhirsch.de/Chef de cuisine.htm' сохранён [5346/5346]

--15:18:34--  http://zwieselhirsch.de/Hirsch%20mit%20Pin.png
           => `zwieselhirsch.de/Hirsch mit Pin.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 16 426 (16K) [image/png]

    0K .......... ......                                     100%  784.49 KB/s

15:18:34 (784.49 KB/s) - `zwieselhirsch.de/Hirsch mit Pin.png' сохранён [16426/16426]

--15:18:34--  http://zwieselhirsch.de/Sehenswertes.htm
           => `zwieselhirsch.de/Sehenswertes.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 4 839 (4.7K) [text/html]

    0K ....                                                  100%    1.49 MB/s

15:18:34 (1.49 MB/s) - `zwieselhirsch.de/Sehenswertes.htm' сохранён [4839/4839]

--15:18:34--  http://zwieselhirsch.de/nummernschild2%20erste%20seite.png
           => `zwieselhirsch.de/nummernschild2 erste seite.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 46 652 (46K) [image/png]

    0K .......... .......... .......... .......... .....     100%    1.42 MB/s

15:18:34 (1.42 MB/s) - `zwieselhirsch.de/nummernschild2 erste seite.png' сохранён [46652/46652]

--15:18:34--  http://zwieselhirsch.de/Sport.html
           => `zwieselhirsch.de/Sport.html'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 9 863 (9.6K) [text/html]

    0K .........                                             100%    1.48 MB/s

15:18:34 (1.48 MB/s) - `zwieselhirsch.de/Sport.html' сохранён [9863/9863]

--15:18:34--  http://zwieselhirsch.de/Horst%20the%20runner%20rechts.png
           => `zwieselhirsch.de/Horst the runner rechts.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 57 751 (56K) [image/png]

    0K .......... .......... .......... .......... .......... 88%  842.67 KB/s
   50K ......                                                100%    1.63 MB/s

15:18:34 (892.69 KB/s) - `zwieselhirsch.de/Horst the runner rechts.png' сохранён [57751/57751]

--15:18:34--  http://zwieselhirsch.de/Hotel.htm
           => `zwieselhirsch.de/Hotel.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 10 126 (9.9K) [text/html]

    0K .........                                             100%    1.39 MB/s

15:18:34 (1.39 MB/s) - `zwieselhirsch.de/Hotel.htm' сохранён [10126/10126]

--15:18:34--  http://zwieselhirsch.de/Button%20Hotel%20braun.png
           => `zwieselhirsch.de/Button Hotel braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 34 416 (34K) [image/png]

    0K .......... .......... .......... ...                  100%  564.77 KB/s

15:18:34 (564.77 KB/s) - `zwieselhirsch.de/Button Hotel braun.png' сохранён [34416/34416]

--15:18:34--  http://zwieselhirsch.de/Zimmer.htm
           => `zwieselhirsch.de/Zimmer.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 7 314 (7.1K) [text/html]

    0K .......                                               100%    1.58 MB/s

15:18:34 (1.58 MB/s) - `zwieselhirsch.de/Zimmer.htm' сохранён [7314/7314]

--15:18:34--  http://zwieselhirsch.de/ButtonZimmer%20braun.png
           => `zwieselhirsch.de/ButtonZimmer braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 34 020 (33K) [image/png]

    0K .......... .......... .......... ...                  100%  550.38 KB/s

15:18:34 (550.38 KB/s) - `zwieselhirsch.de/ButtonZimmer braun.png' сохранён [34020/34020]

--15:18:34--  http://zwieselhirsch.de/Restaurant.htm
           => `zwieselhirsch.de/Restaurant.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 7 172 (7.0K) [text/html]

    0K .......                                               100%    1.48 MB/s

15:18:34 (1.48 MB/s) - `zwieselhirsch.de/Restaurant.htm' сохранён [7172/7172]

--15:18:34--  http://zwieselhirsch.de/ButtonRestaurant%20braun.png
           => `zwieselhirsch.de/ButtonRestaurant braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 34 576 (34K) [image/png]

    0K .......... .......... .......... ...                  100%  562.36 KB/s

15:18:34 (562.36 KB/s) - `zwieselhirsch.de/ButtonRestaurant braun.png' сохранён [34576/34576]

--15:18:34--  http://zwieselhirsch.de/Preisliste%202008.html
           => `zwieselhirsch.de/Preisliste 2008.html'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 7 752 (7.6K) [text/html]

    0K .......                                               100%    1.66 MB/s

15:18:34 (1.66 MB/s) - `zwieselhirsch.de/Preisliste 2008.html' сохранён [7752/7752]

--15:18:34--  http://zwieselhirsch.de/Button%20Pauschalen%20braun.png
           => `zwieselhirsch.de/Button Pauschalen braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 34 492 (34K) [image/png]

    0K .......... .......... .......... ...                  100%  829.61 KB/s

15:18:34 (829.61 KB/s) - `zwieselhirsch.de/Button Pauschalen braun.png' сохранён [34492/34492]

--15:18:34--  http://zwieselhirsch.de/Kontakt.htm
           => `zwieselhirsch.de/Kontakt.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 8 694 (8.5K) [text/html]

    0K ........                                              100%  202.57 KB/s

15:18:34 (202.57 KB/s) - `zwieselhirsch.de/Kontakt.htm' сохранён [8694/8694]

--15:18:34--  http://zwieselhirsch.de/Button%20Kontakt%20braun.png
           => `zwieselhirsch.de/Button Kontakt braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 37 946 (37K) [image/png]

    0K .......... .......... .......... .......              100%  503.96 KB/s

15:18:35 (503.96 KB/s) - `zwieselhirsch.de/Button Kontakt braun.png' сохранён [37946/37946]

--15:18:35--  http://zwieselhirsch.de/Anreise.htm
           => `zwieselhirsch.de/Anreise.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 4 955 (4.8K) [text/html]

    0K ....                                                  100%  369.73 MB/s

15:18:35 (369.73 MB/s) - `zwieselhirsch.de/Anreise.htm' сохранён [4955/4955]

--15:18:35--  http://zwieselhirsch.de/Button%20Anfahrt%20braun.png
           => `zwieselhirsch.de/Button Anfahrt braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 35 149 (34K) [image/png]

    0K .......... .......... .......... ....                 100%  590.21 KB/s

15:18:35 (590.21 KB/s) - `zwieselhirsch.de/Button Anfahrt braun.png' сохранён [35149/35149]

--15:18:35--  http://zwieselhirsch.de/Button%20Gaestebuch%20braun.png
           => `zwieselhirsch.de/Button Gaestebuch braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 36 821 (36K) [image/png]

    0K .......... .......... .......... .....                100%  913.58 KB/s

15:18:35 (913.58 KB/s) - `zwieselhirsch.de/Button Gaestebuch braun.png' сохранён [36821/36821]

--15:18:35--  http://zwieselhirsch.de/index.htm
           => `zwieselhirsch.de/index.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 12 963 (13K) [text/html]

    0K .......... ..                                         100%    1.56 MB/s

15:18:35 (1.56 MB/s) - `zwieselhirsch.de/index.htm' сохранён [12963/12963]

--15:18:35--  http://zwieselhirsch.de/Button%20zurueck%20braun.png
           => `zwieselhirsch.de/Button zurueck braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 33 835 (33K) [image/png]

    0K .......... .......... .......... ...                  100%  930.13 KB/s

15:18:35 (930.13 KB/s) - `zwieselhirsch.de/Button zurueck braun.png' сохранён [33835/33835]

--15:18:35--  http://zwieselhirsch.de/sehenswertes2.png
           => `zwieselhirsch.de/sehenswertes2.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 993 620 (970K) [image/png]

    0K .......... .......... .......... .......... ..........  5%    1.04 MB/s
   50K .......... .......... .......... .......... .......... 10%    1.04 MB/s
  100K .......... .......... .......... .......... .......... 15% 1012.12 KB/s
  150K .......... .......... .......... .......... .......... 20%    1.18 MB/s
  200K .......... .......... .......... .......... .......... 25%  991.46 KB/s
  250K .......... .......... .......... .......... .......... 30%    1.03 MB/s
  300K .......... .......... .......... .......... .......... 36%  940.36 KB/s
  350K .......... .......... .......... .......... .......... 41%  910.56 KB/s
  400K .......... .......... .......... .......... .......... 46% 1003.53 KB/s
  450K .......... .......... .......... .......... .......... 51%    1.02 MB/s
  500K .......... .......... .......... .......... .......... 56%    1.05 MB/s
  550K .......... .......... .......... .......... .......... 61% 1001.75 KB/s
  600K .......... .......... .......... .......... .......... 66%    1.05 MB/s
  650K .......... .......... .......... .......... .......... 72%    1.10 MB/s
  700K .......... .......... .......... .......... .......... 77%    1.08 MB/s
  750K .......... .......... .......... .......... .......... 82%    1.13 MB/s
  800K .......... .......... .......... .......... .......... 87%    1.14 MB/s
  850K .......... .......... .......... .......... .......... 92%    1.08 MB/s
  900K .......... .......... .......... .......... .......... 97%    1.11 MB/s
  950K .......... ..........                                 100%    1.13 MB/s

15:18:36 (1.04 MB/s) - `zwieselhirsch.de/sehenswertes2.png' сохранён [993620/993620]

--15:18:36--  http://zwieselhirsch.de/Profil.html
           => `zwieselhirsch.de/Profil.html'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 7 535 (7.4K) [text/html]

    0K .......                                               100%    1.49 MB/s

15:18:36 (1.49 MB/s) - `zwieselhirsch.de/Profil.html' сохранён [7535/7535]

--15:18:36--  http://zwieselhirsch.de/zwieselhirsch%20erste%20seite%20mit%20pin.gif
           => `zwieselhirsch.de/zwieselhirsch erste seite mit pin.gif'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 4 877 (4.8K) [image/gif]

    0K ....                                                  100%    6.28 MB/s

15:18:36 (6.28 MB/s) - `zwieselhirsch.de/zwieselhirsch erste seite mit pin.gif' сохранён [4877/4877]

--15:18:36--  http://zwieselhirsch.de/Hotel%20web2%20Kopie.png
           => `zwieselhirsch.de/Hotel web2 Kopie.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 290 106 (283K) [image/png]

    0K .......... .......... .......... .......... .......... 17%  634.62 KB/s
   50K .......... .......... .......... .......... .......... 35%    1.04 MB/s
  100K .......... .......... .......... .......... .......... 52%    1.04 MB/s
  150K .......... .......... .......... .......... .......... 70%    1.01 MB/s
  200K .......... .......... .......... .......... .......... 88%    1.14 MB/s
  250K .......... .......... .......... ...                  100%    1.21 MB/s

15:18:36 (975.44 KB/s) - `zwieselhirsch.de/Hotel web2 Kopie.png' сохранён [290106/290106]

--15:18:36--  http://zwieselhirsch.de/Button%20Home%20braun.png
           => `zwieselhirsch.de/Button Home braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 34 624 (34K) [image/png]

    0K .......... .......... .......... ...                  100%    1.42 MB/s

15:18:36 (1.42 MB/s) - `zwieselhirsch.de/Button Home braun.png' сохранён [34624/34624]

--15:18:36--  http://zwieselhirsch.de/Zimmer%20Web.png
           => `zwieselhirsch.de/Zimmer Web.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 575 420 (562K) [image/png]

    0K .......... .......... .......... .......... ..........  8%  678.77 KB/s
   50K .......... .......... .......... .......... .......... 17%  691.55 KB/s
  100K .......... .......... .......... .......... .......... 26%  780.15 KB/s
  150K .......... .......... .......... .......... .......... 35%  848.46 KB/s
  200K .......... .......... .......... .......... .......... 44%    1.01 MB/s
  250K .......... .......... .......... .......... .......... 53%    1.07 MB/s
  300K .......... .......... .......... .......... .......... 62%  908.63 KB/s
  350K .......... .......... .......... .......... .......... 71%  819.64 KB/s
  400K .......... .......... .......... .......... .......... 80%  972.85 KB/s
  450K .......... .......... .......... .......... .......... 88%    1.08 MB/s
  500K .......... .......... .......... .......... .......... 97%  924.28 KB/s
  550K .......... .                                          100%    1.35 MB/s

15:18:37 (880.42 KB/s) - `zwieselhirsch.de/Zimmer Web.png' сохранён [575420/575420]

--15:18:37--  http://zwieselhirsch.de/Mohnbluete.html
           => `zwieselhirsch.de/Mohnbluete.html'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 4 460 (4.4K) [text/html]

    0K ....                                                  100%    1.45 MB/s

15:18:37 (1.45 MB/s) - `zwieselhirsch.de/Mohnbluete.html' сохранён [4460/4460]

--15:18:37--  http://zwieselhirsch.de/Bollenhut.png
           => `zwieselhirsch.de/Bollenhut.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 51 592 (50K) [image/png]

    0K .......... .......... .......... .......... .......... 99%  858.62 KB/s
   50K                                                       100%  191.39 KB/s

15:18:37 (865.20 KB/s) - `zwieselhirsch.de/Bollenhut.png' сохранён [51592/51592]

--15:18:37--  http://zwieselhirsch.de/Webrestaurant.png
           => `zwieselhirsch.de/Webrestaurant.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 702 645 (686K) [image/png]

    0K .......... .......... .......... .......... ..........  7%  710.73 KB/s
   50K .......... .......... .......... .......... .......... 14%  902.00 KB/s
  100K .......... .......... .......... .......... .......... 21%    1.12 MB/s
  150K .......... .......... .......... .......... .......... 29%    1.07 MB/s
  200K .......... .......... .......... .......... .......... 36%    1.05 MB/s
  250K .......... .......... .......... .......... .......... 43%    1.16 MB/s
  300K .......... .......... .......... .......... .......... 51%  962.99 KB/s
  350K .......... .......... .......... .......... .......... 58%    1.11 MB/s
  400K .......... .......... .......... .......... .......... 65% 1014.12 KB/s
  450K .......... .......... .......... .......... .......... 72%    1.02 MB/s
  500K .......... .......... .......... .......... .......... 80%    1.08 MB/s
  550K .......... .......... .......... .......... .......... 87%    1.03 MB/s
  600K .......... .......... .......... .......... .......... 94%    1.04 MB/s
  650K .......... .......... .......... ......               100% 1015.46 KB/s

15:18:38 (1021.83 KB/s) - `zwieselhirsch.de/Webrestaurant.png' сохранён [702645/702645]

--15:18:38--  http://zwieselhirsch.de/Alpirsbacher.png
           => `zwieselhirsch.de/Alpirsbacher.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 14 310 (14K) [image/png]

    0K .......... ...                                        100%  617.50 KB/s

15:18:38 (617.50 KB/s) - `zwieselhirsch.de/Alpirsbacher.png' сохранён [14310/14310]

--15:18:38--  http://zwieselhirsch.de/Pauschale%20Schnupper%20.htm
           => `zwieselhirsch.de/Pauschale Schnupper .htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 7 580 (7.4K) [text/html]

    0K .......                                               100%  536.30 KB/s

15:18:38 (536.30 KB/s) - `zwieselhirsch.de/Pauschale Schnupper .htm' сохранён [7580/7580]

--15:18:38--  http://zwieselhirsch.de/Button%20naechste%20braun.png
           => `zwieselhirsch.de/Button naechste braun.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 27 643 (27K) [image/png]

    0K .......... .......... ......                          100%  486.43 KB/s

15:18:38 (486.43 KB/s) - `zwieselhirsch.de/Button naechste braun.png' сохранён [27643/27643]

--15:18:38--  http://zwieselhirsch.de/Counterbild%20Hirsch2.png
           => `zwieselhirsch.de/Counterbild Hirsch2.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 33 484 (33K) [image/png]

    0K .......... .......... .......... ..                   100%    1.09 MB/s

15:18:38 (1.09 MB/s) - `zwieselhirsch.de/Counterbild Hirsch2.png' сохранён [33484/33484]

--15:18:38--  http://zwieselhirsch.de/made%20by%20Logo.png
           => `zwieselhirsch.de/made by Logo.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 8 043 (7.9K) [image/png]

    0K .......                                               100%    3.43 MB/s

15:18:38 (3.43 MB/s) - `zwieselhirsch.de/made by Logo.png' сохранён [8043/8043]

--15:18:38--  http://zwieselhirsch.de/Impressum.html
           => `zwieselhirsch.de/Impressum.html'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 9 807 (9.6K) [text/html]

    0K .........                                             100%  460.83 KB/s

15:18:38 (460.83 KB/s) - `zwieselhirsch.de/Impressum.html' сохранён [9807/9807]

--15:18:38--  http://zwieselhirsch.de/anreise%20karte2.png
           => `zwieselhirsch.de/anreise karte2.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 798 176 (779K) [image/png]

    0K .......... .......... .......... .......... ..........  6% 1019.20 KB/s
   50K .......... .......... .......... .......... .......... 12%  890.54 KB/s
  100K .......... .......... .......... .......... .......... 19%  945.99 KB/s
  150K .......... .......... .......... .......... .......... 25%  916.06 KB/s
  200K .......... .......... .......... .......... .......... 32%    1.04 MB/s
  250K .......... .......... .......... .......... .......... 38%    1.10 MB/s
  300K .......... .......... .......... .......... .......... 44%  967.44 KB/s
  350K .......... .......... .......... .......... .......... 51%  773.80 KB/s
  400K .......... .......... .......... .......... .......... 57%    1.06 MB/s
  450K .......... .......... .......... .......... .......... 64% 1011.11 KB/s
  500K .......... .......... .......... .......... .......... 70%    1.15 MB/s
  550K .......... .......... .......... .......... .......... 76%    1.01 MB/s
  600K .......... .......... .......... .......... .......... 83%    1.10 MB/s
  650K .......... .......... .......... .......... .......... 89%    1.20 MB/s
  700K .......... .......... .......... .......... .......... 96%    1.12 MB/s
  750K .......... .......... .........                       100%    1.20 MB/s

15:18:39 (1.00 MB/s) - `zwieselhirsch.de/anreise karte2.png' сохранён [798176/798176]

--15:18:39--  http://zwieselhirsch.de/Kleine%20Wohlfuehlwelt.htm
           => `zwieselhirsch.de/Kleine Wohlfuehlwelt.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 8 477 (8.3K) [text/html]

    0K ........                                              100%    1.59 MB/s

15:18:39 (1.59 MB/s) - `zwieselhirsch.de/Kleine Wohlfuehlwelt.htm' сохранён [8477/8477]

--15:18:39--  http://zwieselhirsch.de/naturpark%20schwarzwald%20mitte-nord.png
           => `zwieselhirsch.de/naturpark schwarzwald mitte-nord.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 2 873 (2.8K) [image/png]

    0K ..                                                    100%    1.84 MB/s

15:18:39 (1.84 MB/s) - `zwieselhirsch.de/naturpark schwarzwald mitte-nord.png' сохранён [2873/2873]

--15:18:39--  http://zwieselhirsch.de/mohnbluete%20klein.gif
           => `zwieselhirsch.de/mohnbluete klein.gif'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 100 751 (98K) [image/gif]

    0K .......... .......... .......... .......... .......... 50%  751.01 KB/s
   50K .......... .......... .......... .......... ........  100%  958.47 KB/s

15:18:39 (840.48 KB/s) - `zwieselhirsch.de/mohnbluete klein.gif' сохранён [100751/100751]

--15:18:39--  http://zwieselhirsch.de/kleine%20Wohlfuehlwelt%20.png
           => `zwieselhirsch.de/kleine Wohlfuehlwelt .png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 6 898 (6.7K) [image/png]

    0K ......                                                100%    2.66 MB/s

15:18:39 (2.66 MB/s) - `zwieselhirsch.de/kleine Wohlfuehlwelt .png' сохранён [6898/6898]

--15:18:39--  http://zwieselhirsch.de/yin%20yang.png
           => `zwieselhirsch.de/yin yang.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 12 109 (12K) [image/png]

    0K .......... .                                          100%  511.66 KB/s

15:18:39 (511.66 KB/s) - `zwieselhirsch.de/yin yang.png' сохранён [12109/12109]

--15:18:39--  http://zwieselhirsch.de/kleine%20Wohlfuehlwelt%20Wolke.png
           => `zwieselhirsch.de/kleine Wohlfuehlwelt Wolke.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 5 104 (5.0K) [image/png]

    0K ....                                                  100%    3.79 MB/s

15:18:39 (3.79 MB/s) - `zwieselhirsch.de/kleine Wohlfuehlwelt Wolke.png' сохранён [5104/5104]

--15:18:39--  http://zwieselhirsch.de/Dreamy%202.jpg
           => `zwieselhirsch.de/Dreamy 2.jpg'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 10 258 (10K) [image/jpeg]

    0K ..........                                            100%    1.30 MB/s

15:18:39 (1.30 MB/s) - `zwieselhirsch.de/Dreamy 2.jpg' сохранён [10258/10258]

--15:18:39--  http://zwieselhirsch.de/kleine%20Wohlfuehlwelt%20Text2.png
           => `zwieselhirsch.de/kleine Wohlfuehlwelt Text2.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 42 458 (41K) [image/png]

    0K .......... .......... .......... .......... .         100% 1011.29 KB/s

15:18:39 (1011.29 KB/s) - `zwieselhirsch.de/kleine Wohlfuehlwelt Text2.png' сохранён [42458/42458]

--15:18:39--  http://zwieselhirsch.de/babor.jpg
           => `zwieselhirsch.de/babor.jpg'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 15 411 (15K) [image/jpeg]

    0K .......... .....                                      100%    1.58 MB/s

15:18:40 (1.58 MB/s) - `zwieselhirsch.de/babor.jpg' сохранён [15411/15411]

--15:18:40--  http://zwieselhirsch.de/dreamy.jpg
           => `zwieselhirsch.de/dreamy.jpg'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 21 317 (21K) [image/jpeg]

    0K .......... ..........                                 100% 1008.02 KB/s

15:18:40 (1008.02 KB/s) - `zwieselhirsch.de/dreamy.jpg' сохранён [21317/21317]

--15:18:40--  http://zwieselhirsch.de/Angebote%20WFW.htm
           => `zwieselhirsch.de/Angebote WFW.htm'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 13 695 (13K) [text/html]

    0K .......... ...                                        100%  592.79 KB/s

15:18:40 (592.79 KB/s) - `zwieselhirsch.de/Angebote WFW.htm' сохранён [13695/13695]

--15:18:40--  http://zwieselhirsch.de/Button%20Angebote%20weiss%20WFW.png
           => `zwieselhirsch.de/Button Angebote weiss WFW.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 1 178 (1.2K) [image/png]

    0K .                                                     100%   93.18 MB/s

15:18:40 (93.18 MB/s) - `zwieselhirsch.de/Button Angebote weiss WFW.png' сохранён [1178/1178]

--15:18:40--  http://zwieselhirsch.de/Button%20zurueck%20weiss%20WFW.png
           => `zwieselhirsch.de/Button zurueck weiss WFW.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 856 [image/png]

    0K                                                       100%   77.03 MB/s

15:18:40 (77.03 MB/s) - `zwieselhirsch.de/Button zurueck weiss WFW.png' сохранён [856/856]

--15:18:40--  http://zwieselhirsch.de/kleine%20Wohlfuelwelt%20.png
           => `zwieselhirsch.de/kleine Wohlfuelwelt .png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 6 898 (6.7K) [image/png]

    0K ......                                                100%    1.86 MB/s

15:18:40 (1.86 MB/s) - `zwieselhirsch.de/kleine Wohlfuelwelt .png' сохранён [6898/6898]

--15:18:40--  http://zwieselhirsch.de/kleine%20Wohfuehlweltl%20Wolke.png
           => `zwieselhirsch.de/kleine Wohfuehlweltl Wolke.png'
Повторное использование соединения с zwieselhirsch.de:80.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 5 104 (5.0K) [image/png]

    0K ....                                                  100%    3.40 MB/s

15:18:40 (3.40 MB/s) - `zwieselhirsch.de/kleine Wohfuehlweltl Wolke.png' сохранён [5104/5104]


ЗАВЕРШЕНО --15:18:40--
Загружено: 5 558 120 байт в 56 файлах
Выполняется преобразование zwieselhirsch.de/index.htm... 24-0
Выполняется преобразование zwieselhirsch.de/Sport.html... 3-3
Выполняется преобразование zwieselhirsch.de/Restaurant.htm... 13-0
Выполняется преобразование zwieselhirsch.de/Zimmer.htm... 12-0
Выполняется преобразование zwieselhirsch.de/Preisliste 2008.html... 4-0
Выполняется преобразование zwieselhirsch.de/Profil.html... 5-0
Выполняется преобразование zwieselhirsch.de/Hotel.htm... 25-0
Выполняется преобразование zwieselhirsch.de/index.html... 24-0
Выполняется преобразование zwieselhirsch.de/Mohnbluete.html... 6-0
Выполняется преобразование zwieselhirsch.de/Impressum.html... 3-0
Выполняется преобразование zwieselhirsch.de/Kontakt.htm... 7-0
Выполняется преобразование zwieselhirsch.de/Chef de cuisine.htm... 3-0
Выполняется преобразование zwieselhirsch.de/Anreise.htm... 4-0
Выполняется преобразование zwieselhirsch.de/Angebote WFW.htm... 10-0
Выполняется преобразование zwieselhirsch.de/Pauschale Schnupper .htm... 4-2
Выполняется преобразование zwieselhirsch.de/Kleine Wohlfuehlwelt.htm... 12-0
Выполняется преобразование zwieselhirsch.de/Sehenswertes.htm... 4-0
Преобразовано 17 файлов за 0.006 секунд.

Что-то есть у меня сомнения, что виноваты лыжи...

Ну вот, уже почти прямо ...нутым обозвали..

Вы вообще в курсе, что wget выкачивает не все файлы с сервера, а только те, на которые ведут ссылки с указанной страницы?

Вообще то на некоторые ведут ссылки не с index.html, а с рядом лежащих...я как раз думал, что wget вытягивает все что есть в директории...если нет, то тогда все, вопрос закрыт..

Сообщение **/dev/random** » 22.10.2009 17:37

typus писал(а): ↑
22.10.2009 17:27
Вообще то на некоторые ведут ссылки не с index.html, а с рядом лежащих...

wget выкачивает рекурсивно, т.е. может пройти по index.html->aaa.html->bbb.html->ccc.png

typus писал(а): ↑
22.10.2009 17:27
я как раз думал, что wget вытягивает все что есть в директории...

А вот вытянуть всё, что есть в директории не может _никто_. Протокол http этого не поддерживает. Для этого нужен ftp или rsync.

А по поводу последнего лога... Какая у вас версия wget? поддержка css появилась только в 1.12.

typus · Сообщение **typus** » 22.10.2009 19:09

/dev/random писал(а): ↑
22.10.2009 17:37
А по поводу последнего лога... Какая у вас версия wget? поддержка css появилась только в 1.12.

Да,версия устаревшая была, спасибо, обновился, скачалось гораздо больше, и не только хинтергрунд скачался..

/dev/random писал(а): ↑
22.10.2009 17:37
wget выкачивает рекурсивно, т.е. может пройти по index.html->aaa.html->bbb.html->ccc.png

ну вроде разобрался...ессно,на все те файлы, которые я имел в виду, что не скачивались, сылки есть.
Только - немец их там так прописал, что wget их не видит..я понял, что надо изменить, чтобы они увиделись.
Впрочем, это уже частности, всем спасибо.
ps.еще бы заставить httrack быстро качать..

unixforum.org

Wget (скачать сайт)

Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget

Re: Wget