прога для скачивания сайтов целиком

Софт под Linux, разные программы, но только связанные с Linux

Модератор: /dev/random

Аватара пользователя
GiGeRnix
Сообщения: 44
ОС: Debian Etch

прога для скачивания сайтов целиком

Сообщение GiGeRnix »

Народ подскажите!
ищу прогу для скачивания сайтов целиком. есть ли такая прога для линухи?
Спасибо сказали:
Аватара пользователя
edoc_modnar
Бывший модератор
Сообщения: 1638
Статус: Форум больше не посещаю

Re: прога для скачивания сайтов целиком

Сообщение edoc_modnar »

man wget, man wget, батенько...
So long, and thanks for all the fish.
Douglas Adams, The Hitchhiker's Guide to the Galaxy
Спасибо сказали:
Аватара пользователя
Jinn
Сообщения: 698
Статус: Интересующийся бывалый прохожий

Re: прога для скачивания сайтов целиком

Сообщение Jinn »

Или вот ещё httrack, с красивой графической фронт-ендой khttrack...
Don't trouble troubles until troubles trouble you!
Спасибо сказали:
Аватара пользователя
StraNNicK
Бывший модератор
Сообщения: 1005
Статус: добрый хиппи

Re: прога для скачивания сайтов целиком

Сообщение StraNNicK »

Всё равно лучше Firefox + ScrapBook ничего нет. :)

wget, кстати, именно для этой цели жуть как неудобен.
Хотя, если ничего другого нет...
Ушёл навсегда. В личку не заглядываю.
Спасибо сказали:
Аватара пользователя
Skull
Модератор
Сообщения: 2089
ОС: ALT Linux

Re: прога для скачивания сайтов целиком

Сообщение Skull »

StraNNicK писал(а):
16.11.2006 05:48
Всё равно лучше Firefox + ScrapBook ничего нет. :)

wget, кстати, именно для этой цели жуть как неудобен.
Как раз удобен - поставил и забыл. На следующий день у тебя зеркало. А в ScrapBook будете все страницы ручками заносить? Да вы оригинал, батенька! :)

Кстати, Basket весьма хорош для хранения фрагментов.
Skull
Спасибо сказали:
Аватара пользователя
Liksys
Сообщения: 2910

Re: прога для скачивания сайтов целиком

Сообщение Liksys »

wget -r ...
А вообще - читаем маны :)
Спасибо сказали:
Аватара пользователя
StraNNicK
Бывший модератор
Сообщения: 1005
Статус: добрый хиппи

Re: прога для скачивания сайтов целиком

Сообщение StraNNicK »

/me покачал головой и, вздохнув, печально сказал:
Эти люди будут учить меня пользоваться wget'ом...

На простом сайте, где нет динамически создаваемых страниц (либо, где они хорошо замаскированы) - там да, wget - самое оно. А вот на сложных - жопа. Особенно, где применена фасетная сортировка контента и на одну и ту же статью ведут ссылки с разных подразделов...
Примерно так:
корень сайта -> документация -> сети -> "как настоить кодировку в samba"
корень сайта -> документация -> локализация -> "как настоить кодировку в samba"

Получаем два одинаковых файлика в разных каталогах. Это раз.

Про форумы и нежно любимые быдлокодерами ссылки вида site.ru/index.php?asdasd+asdas, которые wget'ом скачиваются отвратительно, я вообще молчу. Это два.

Про то, что "выкусить" какой-либо элемент со странички будет можно, но сложно, равно как и то, что правильность выставленных ограничений (-A, -R, -np и прочая опции wget'а) можно будет оценить только постфактум, когда оно всё закачает (ScrapBook сразу выводит список того, что собирается качать) - это тоже факты не в плюс wget'у.

А в ScrapBook будете все страницы ручками заносить?

Отчего же? Захват ссылок с мощным фильтром, либо рекурсивный режим не только у wget'а есть...

И?
Ушёл навсегда. В личку не заглядываю.
Спасибо сказали:
Mellon
Сообщения: 655
Статус: Powered by Gentoo
ОС: Gentoo

Re: прога для скачивания сайтов целиком

Сообщение Mellon »

Что дальше?
ну выкачали вы допустим огроменный мануал, почитали его...
И вот как-то раз находясь за пределами иксов, осознали что неплохо бы перечитать выкаченное, как вы собираетесь найти то что нужно в дебрях папки скрапбукаи сможете ли вы это адекватно читать в консольном браузере? А если к вам придет друг, и попросит выкаченный вами сайт себе скопировать, можно ли это проделать без проблем в ScrapBook? а если у него лисы нет?

Пока что httrack полностью отвечает предъявляемым требованиям.

И кстати, стоит упомянуть и curl
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
Спасибо сказали:
Аватара пользователя
StraNNicK
Бывший модератор
Сообщения: 1005
Статус: добрый хиппи

Re: прога для скачивания сайтов целиком

Сообщение StraNNicK »

Mellon писал(а):
17.11.2006 05:58
Что дальше?
ну выкачали вы допустим огроменный мануал, почитали его...
И вот как-то раз находясь за пределами иксов, осознали что неплохо бы перечитать выкаченное, как вы собираетесь найти то что нужно в дебрях папки скрапбукаи сможете ли вы это адекватно читать в консольном браузере? А если к вам придет друг, и попросит выкаченный вами сайт себе скопировать, можно ли это проделать без проблем в ScrapBook? а если у него лисы нет?

Пока что httrack полностью отвечает предъявляемым требованиям.

И кстати, стоит упомянуть и curl

Вы всерьёз полагаете, что ScrapBook как-то хитро конвертирует выкачанное?
Это те же самые html'и, просто сложенные в отдельный каталог.

Без проблем скопировать можно через экспорт - так проще и эффективнее всего.

Вы же явно не видели того, о чём говорите, разве нет?

Поверьте, я пробовал и httrack, и wget, и pavuk (curl, как мне кажется, тут не совсем уместен)...
Исходя их этого, я делаю выбор в пользу FF+SB
Ушёл навсегда. В личку не заглядываю.
Спасибо сказали:
Аватара пользователя
diesel
Бывший модератор
Сообщения: 5989
ОС: OS X, openSuSE, ROSA, Debian

Re: прога для скачивания сайтов целиком

Сообщение diesel »

StraNNicK писал(а):
17.11.2006 08:43
Поверьте, я пробовал и httrack, и wget, и pavuk (curl, как мне кажется, тут не совсем уместен)...
Исходя их этого, я делаю выбор в пользу FF+SB


Тоже пробовал разные. Вот что думается - httrack - из упомянутых в топике штука самая бесполезная - помнится весит оно что-то порядка 20 метров(могу ошибаться - видел давно), а основная ее функциональность - ГУИ для закачки вполне реализуема FF+SB. Плюс к тому закачать/просмотреть сайт в браузере, без посредников - это быстрее и удобней. Правда сам так почти не делаю - в век относительно дешевого трафика легче хранить закладки - в свое время просто сохранял множество статей из которых читал все-равно единицы, читал второй раз ... гм. в голову приходит пару статей по ТеХу, и одна по настройке mutt'а ))

Часто нужно скачать сайт или его кусок, для последующей обработки. Сайты чаще всего простые, и/или с нормальными ссылками - wget тут справляется. Поэтому как и во всем остальном - все зависит ситуации. Однозначно заявлять что FF+SB без вариантов не стал бы. У консольного решения тоже есть преимущества :)
Спасибо сказали:
Mellon
Сообщения: 655
Статус: Powered by Gentoo
ОС: Gentoo

Re: прога для скачивания сайтов целиком

Сообщение Mellon »

ок, если оно нормально экспортировать закаченное может, то это +, очень даже.
А пользоваться, давненько не пользуюсь, может что и изменилось.
Главным образом напрягает способ складирования страничек, вне лисы фиг разберешься без find'a :)
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
Спасибо сказали:
Аватара пользователя
StraNNicK
Бывший модератор
Сообщения: 1005
Статус: добрый хиппи

Re: прога для скачивания сайтов целиком

Сообщение StraNNicK »

У консольного плюсы может и есть, но есть и минусы.

Скажем так, в большинстве случаев, пресловутая связка удобнее. :)
Ушёл навсегда. В личку не заглядываю.
Спасибо сказали:
Mellon
Сообщения: 655
Статус: Powered by Gentoo
ОС: Gentoo

Re: прога для скачивания сайтов целиком

Сообщение Mellon »

Вот что думается - httrack - из упомянутых в топике штука самая бесполезная - помнится весит оно что-то порядка 20 метров(могу ошибаться - видел давно), а основная ее функциональность - ГУИ для закачки вполнех.


Ошибаетесь, притом очсильна
/mnt/src/gentoo/distfiles/httrack_3.40.2.orig.tar.gz - 1.6M
а тулза что нинаесть консольная, но и вебморда имеется если очнада.
и штука эта весьма функциональная
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: прога для скачивания сайтов целиком

Сообщение serzh-z »

Можно немного не в тему? Ну вот объясните мне кто-нибудь, что за проблемы такие с закачкой и поиском GUI для этого? Жуб даю, не прикалываюсь - я просто не могу понять зачем оно нужно и что делает такое, чего не может сделать тот же встроенный даунлоадер FF или wget?
Спасибо сказали:
Mellon
Сообщения: 655
Статус: Powered by Gentoo
ОС: Gentoo

Re: прога для скачивания сайтов целиком

Сообщение Mellon »

[offtop]Жуб даю, я просто поинтерисовался у панов насколько приемлем скрапбук, малость, отозвался о той проге которой активно пользуюсь, и поправил ошибку собеседника. Никаго спора о том что лучше или хуже. Пользуйтесь тем что вам нравится, выбор широк и никто его не в силах ограничить :) [offtop]
Да и автору топика не мешает поиском пользоватся :)
Некоммерческий файлообмен не может сравниваться с кражей, так как кража лишает кого-то возможности использовать украденный объект. ©
--------------------
Переворачиватель пингвинов
Спасибо сказали: