http://chessproblem.ru/
Каждая задача- суть ссылка вида
http://chessproblem.ru/id<№ задачи>
Например, http://chessproblem.ru/id6503, http://chessproblem.ru/id26025
И вот мне нужно все эти файлики скачать. Качаю поэтому весь сайт. Качается, конечно, немного лишнего, ну да бог с ним:
wget -r -k -l 7 -p -E -nc http://chessproblem.ru/ > wgetdst.txt 2>&1
И у меня появилась папка chessproblem.ru в которой много-много (несколько тысяч) файлов вида id<№задачи>.html. Например, id10269.html, id10270.html и так далее.
Но почему-то все задачи-файлы не скачались. Например, задача № 5832.
http://chessproblem.ru/id5832
То есть среди скачанных отсутствует файл id5832.html
Можно её скачать? Можно. Только отдельно
Shell
$ wget -E http://chessproblem.ru/id5832
--2020-12-13 21:17:49-- http://chessproblem.ru/id5832
Распознаётся chessproblem.ru (chessproblem.ru)… 185.26.98.232
Подключение к chessproblem.ru (chessproblem.ru)|185.26.98.232|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа… 200 OK
Длина: нет данных [text/html]
Сохранение в: «id5832.html»
id5832.html [ <=> ] 15,17K --.-KB/s in 0,08s
2020-12-13 21:17:49 (189 KB/s) - «id5832.html» сохранён [15529]
$
А вот и файл wgetdst.txt (результат скачивания всего сайта), там упоминание о файле id5832(.html) отсутствует напрочь. Если скопом весь сайт скачивать, то некоторые файлы почему-то пропускаются. ЧЯДНТ? Спасибо, кто откликнется.