-
apache使用.htaccess文件实现屏蔽wget下载网站内容
经发现,虽然wget遵循 robots.txt 规则,但是那个还是可以绕过去,现在把我自己使用的屏蔽方法分享给大家:1. 屏蔽下载任何文件.htaccessSetEnvIfNoCase User-Agent "^wget&qu
-
wget下载整个网站
使用wget命令下载父目录下的整个子目录使用wget命令下载父目录下的整个子目录,命令如下:wget -r --level=0 -E --ignore-length -x -k -p -erobots=off -np -N http: