перебор страниц сайта с сохранением
Господа,
подскажите плиз в общих чертах, на чем можно реализовать и через что запустить следующий механизм. А дальше я сам попробую)
1. открыть страничку xxx.com/1
2. если она существует (не 404), то сохранить текст страницы (или mht какой-нибудь, а лучше, конечно, сразу в лог перечнем существующих и несуществующих)
3. открыть страничку xxx.com/2 (+1 то есть)
4. гоу ту 2
финальный адрес будет где-то в районе xxx.com/70000
Smoking kills... but beer raises dead.
Последний раз редактировалось sergeforever; 27.10.2015 в 14:56.
|