Рекурсивная загрузка каталогов и как от неё защититься

[kusok]

Пример: есть на сайте каталог - http://riddle.p4x.ch/start/. Я говорю "wget -r http://riddle.p4x.ch/start/", при этом происходит загрузка только двух html-страниц, хотя их там больше. Каким образом можно скачать недостающее и как защитить подобным образом сайт от рекурсивной загрузки?