прога для скачивания сайтов целиком
Модератор: /dev/random
-
GiGeRnix
- Сообщения: 44
- ОС: Debian Etch
прога для скачивания сайтов целиком
Народ подскажите!
ищу прогу для скачивания сайтов целиком. есть ли такая прога для линухи?
ищу прогу для скачивания сайтов целиком. есть ли такая прога для линухи?
-
edoc_modnar
- Бывший модератор
- Сообщения: 1638
- Статус: Форум больше не посещаю
Re: прога для скачивания сайтов целиком
man wget, man wget, батенько...
So long, and thanks for all the fish.
Douglas Adams, The Hitchhiker's Guide to the Galaxy
-
Jinn
- Сообщения: 698
- Статус: Интересующийся бывалый прохожий
Re: прога для скачивания сайтов целиком
Или вот ещё httrack, с красивой графической фронт-ендой khttrack...
Don't trouble troubles until troubles trouble you!
-
StraNNicK
- Бывший модератор
- Сообщения: 1005
- Статус: добрый хиппи
Re: прога для скачивания сайтов целиком
Всё равно лучше Firefox + ScrapBook ничего нет. 
wget, кстати, именно для этой цели жуть как неудобен.
Хотя, если ничего другого нет...
wget, кстати, именно для этой цели жуть как неудобен.
Хотя, если ничего другого нет...
Ушёл навсегда. В личку не заглядываю.
-
Skull
- Модератор
- Сообщения: 2089
- ОС: ALT Linux
Re: прога для скачивания сайтов целиком
Как раз удобен - поставил и забыл. На следующий день у тебя зеркало. А в ScrapBook будете все страницы ручками заносить? Да вы оригинал, батенька!
Кстати, Basket весьма хорош для хранения фрагментов.
Skull
-
Liksys
- Сообщения: 2910
Re: прога для скачивания сайтов целиком
wget -r ...
А вообще - читаем маны
А вообще - читаем маны
-
StraNNicK
- Бывший модератор
- Сообщения: 1005
- Статус: добрый хиппи
Re: прога для скачивания сайтов целиком
/me покачал головой и, вздохнув, печально сказал:
Эти люди будут учить меня пользоваться wget'ом...
На простом сайте, где нет динамически создаваемых страниц (либо, где они хорошо замаскированы) - там да, wget - самое оно. А вот на сложных - жопа. Особенно, где применена фасетная сортировка контента и на одну и ту же статью ведут ссылки с разных подразделов...
Примерно так:
корень сайта -> документация -> сети -> "как настоить кодировку в samba"
корень сайта -> документация -> локализация -> "как настоить кодировку в samba"
Получаем два одинаковых файлика в разных каталогах. Это раз.
Про форумы и нежно любимые быдлокодерами ссылки вида site.ru/index.php?asdasd+asdas, которые wget'ом скачиваются отвратительно, я вообще молчу. Это два.
Про то, что "выкусить" какой-либо элемент со странички будет можно, но сложно, равно как и то, что правильность выставленных ограничений (-A, -R, -np и прочая опции wget'а) можно будет оценить только постфактум, когда оно всё закачает (ScrapBook сразу выводит список того, что собирается качать) - это тоже факты не в плюс wget'у.
Отчего же? Захват ссылок с мощным фильтром, либо рекурсивный режим не только у wget'а есть...
И?
Эти люди будут учить меня пользоваться wget'ом...
На простом сайте, где нет динамически создаваемых страниц (либо, где они хорошо замаскированы) - там да, wget - самое оно. А вот на сложных - жопа. Особенно, где применена фасетная сортировка контента и на одну и ту же статью ведут ссылки с разных подразделов...
Примерно так:
корень сайта -> документация -> сети -> "как настоить кодировку в samba"
корень сайта -> документация -> локализация -> "как настоить кодировку в samba"
Получаем два одинаковых файлика в разных каталогах. Это раз.
Про форумы и нежно любимые быдлокодерами ссылки вида site.ru/index.php?asdasd+asdas, которые wget'ом скачиваются отвратительно, я вообще молчу. Это два.
Про то, что "выкусить" какой-либо элемент со странички будет можно, но сложно, равно как и то, что правильность выставленных ограничений (-A, -R, -np и прочая опции wget'а) можно будет оценить только постфактум, когда оно всё закачает (ScrapBook сразу выводит список того, что собирается качать) - это тоже факты не в плюс wget'у.
А в ScrapBook будете все страницы ручками заносить?
Отчего же? Захват ссылок с мощным фильтром, либо рекурсивный режим не только у wget'а есть...
И?
Ушёл навсегда. В личку не заглядываю.
-
Mellon
- Сообщения: 655
- Статус: Powered by Gentoo
- ОС: Gentoo
Re: прога для скачивания сайтов целиком
Что дальше?
ну выкачали вы допустим огроменный мануал, почитали его...
И вот как-то раз находясь за пределами иксов, осознали что неплохо бы перечитать выкаченное, как вы собираетесь найти то что нужно в дебрях папки скрапбукаи сможете ли вы это адекватно читать в консольном браузере? А если к вам придет друг, и попросит выкаченный вами сайт себе скопировать, можно ли это проделать без проблем в ScrapBook? а если у него лисы нет?
Пока что httrack полностью отвечает предъявляемым требованиям.
И кстати, стоит упомянуть и curl
ну выкачали вы допустим огроменный мануал, почитали его...
И вот как-то раз находясь за пределами иксов, осознали что неплохо бы перечитать выкаченное, как вы собираетесь найти то что нужно в дебрях папки скрапбукаи сможете ли вы это адекватно читать в консольном браузере? А если к вам придет друг, и попросит выкаченный вами сайт себе скопировать, можно ли это проделать без проблем в ScrapBook? а если у него лисы нет?
Пока что httrack полностью отвечает предъявляемым требованиям.
И кстати, стоит упомянуть и curl
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
--------------------
Переворачиватель пингвинов
-
StraNNicK
- Бывший модератор
- Сообщения: 1005
- Статус: добрый хиппи
Re: прога для скачивания сайтов целиком
Mellon писал(а): ↑17.11.2006 05:58Что дальше?
ну выкачали вы допустим огроменный мануал, почитали его...
И вот как-то раз находясь за пределами иксов, осознали что неплохо бы перечитать выкаченное, как вы собираетесь найти то что нужно в дебрях папки скрапбукаи сможете ли вы это адекватно читать в консольном браузере? А если к вам придет друг, и попросит выкаченный вами сайт себе скопировать, можно ли это проделать без проблем в ScrapBook? а если у него лисы нет?
Пока что httrack полностью отвечает предъявляемым требованиям.
И кстати, стоит упомянуть и curl
Вы всерьёз полагаете, что ScrapBook как-то хитро конвертирует выкачанное?
Это те же самые html'и, просто сложенные в отдельный каталог.
Без проблем скопировать можно через экспорт - так проще и эффективнее всего.
Вы же явно не видели того, о чём говорите, разве нет?
Поверьте, я пробовал и httrack, и wget, и pavuk (curl, как мне кажется, тут не совсем уместен)...
Исходя их этого, я делаю выбор в пользу FF+SB
Ушёл навсегда. В личку не заглядываю.
-
diesel
- Бывший модератор
- Сообщения: 5989
- ОС: OS X, openSuSE, ROSA, Debian
Re: прога для скачивания сайтов целиком
Тоже пробовал разные. Вот что думается - httrack - из упомянутых в топике штука самая бесполезная - помнится весит оно что-то порядка 20 метров(могу ошибаться - видел давно), а основная ее функциональность - ГУИ для закачки вполне реализуема FF+SB. Плюс к тому закачать/просмотреть сайт в браузере, без посредников - это быстрее и удобней. Правда сам так почти не делаю - в век относительно дешевого трафика легче хранить закладки - в свое время просто сохранял множество статей из которых читал все-равно единицы, читал второй раз ... гм. в голову приходит пару статей по ТеХу, и одна по настройке mutt'а ))
Часто нужно скачать сайт или его кусок, для последующей обработки. Сайты чаще всего простые, и/или с нормальными ссылками - wget тут справляется. Поэтому как и во всем остальном - все зависит ситуации. Однозначно заявлять что FF+SB без вариантов не стал бы. У консольного решения тоже есть преимущества
-
Mellon
- Сообщения: 655
- Статус: Powered by Gentoo
- ОС: Gentoo
Re: прога для скачивания сайтов целиком
ок, если оно нормально экспортировать закаченное может, то это +, очень даже.
А пользоваться, давненько не пользуюсь, может что и изменилось.
Главным образом напрягает способ складирования страничек, вне лисы фиг разберешься без find'a
А пользоваться, давненько не пользуюсь, может что и изменилось.
Главным образом напрягает способ складирования страничек, вне лисы фиг разберешься без find'a
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
--------------------
Переворачиватель пингвинов
-
StraNNicK
- Бывший модератор
- Сообщения: 1005
- Статус: добрый хиппи
Re: прога для скачивания сайтов целиком
У консольного плюсы может и есть, но есть и минусы.
Скажем так, в большинстве случаев, пресловутая связка удобнее.
Скажем так, в большинстве случаев, пресловутая связка удобнее.
Ушёл навсегда. В личку не заглядываю.
-
Mellon
- Сообщения: 655
- Статус: Powered by Gentoo
- ОС: Gentoo
Re: прога для скачивания сайтов целиком
Вот что думается - httrack - из упомянутых в топике штука самая бесполезная - помнится весит оно что-то порядка 20 метров(могу ошибаться - видел давно), а основная ее функциональность - ГУИ для закачки вполнех.
Ошибаетесь, притом очсильна
/mnt/src/gentoo/distfiles/httrack_3.40.2.orig.tar.gz - 1.6M
а тулза что нинаесть консольная, но и вебморда имеется если очнада.
и штука эта весьма функциональная
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
--------------------
Переворачиватель пингвинов
-
serzh-z
- Бывший модератор
- Сообщения: 8259
- Статус: Маньяк
- ОС: Arch, Fedora, Ubuntu
Re: прога для скачивания сайтов целиком
Можно немного не в тему? Ну вот объясните мне кто-нибудь, что за проблемы такие с закачкой и поиском GUI для этого? Жуб даю, не прикалываюсь - я просто не могу понять зачем оно нужно и что делает такое, чего не может сделать тот же встроенный даунлоадер FF или wget?
-
Mellon
- Сообщения: 655
- Статус: Powered by Gentoo
- ОС: Gentoo
Re: прога для скачивания сайтов целиком
[offtop]Жуб даю, я просто поинтерисовался у панов насколько приемлем скрапбук, малость, отозвался о той проге которой активно пользуюсь, и поправил ошибку собеседника. Никаго спора о том что лучше или хуже. Пользуйтесь тем что вам нравится, выбор широк и никто его не в силах ограничить
[offtop]
Да и автору топика не мешает поиском пользоватся
Да и автору топика не мешает поиском пользоватся
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
--------------------
Переворачиватель пингвинов