Аналог xenu в консоли (краулер сайта)

[azsx]

В оффтопике есть замечательный краулер http://home.snafu.de/tilman/xenulink.html
данная программа сканирует все урлы сайта и возвращает информацию в виде таблички csv с разными параметрами: урл, статус, код ответа, размер, тип контента, титл, кодировка и т.п.
Есть ли в линукс консоли что нибудь подобное?

[Bizdelnick]

Пишется на любом скриптовом языке от силы за час. Однако позвольте полюбопытствовать, зачем оно? Не вижу практического применения этой информации.

[azsx]

Пишется на любом скриптовом языке от силы за час.

хотел сперва убедиться, что такого нет. зы я может и поболее часа писать буду.

Однако позвольте полюбопытствовать, зачем оно?

всяко разно, например я сайт спарсил в 20 тысяч страниц, урлы и титлы, чтобы пнуть его ссылками в твиттере. Искаю 404 после обновлений сайта. и т.п.

[Bizdelnick]

Искаю 404

Ну для этого готовых скриптов полно. Сходу в репах нашёлся linkchecker и более навороченный htcheck. И ещё какой-то webcheck, который вроде умеет существенно больше — рекомендую посмотреть.

[azsx]

linkchecker у меня зависал, остальные надо посмотреть. Но 404 - это только одна из функций xenu. Всё таки основной плюс - это парсинг основных тегов и дополнительной инфы о странице. Типа беру сайт конкурента и на странице более 10Кб выделяю и читаю дескриптионы. Многие в кейвордс анкор лист записывают. И так далее...