怎么判断百度蜘蛛是否来过自己的网站

怎么判断百度蜘蛛是否来过自己的网站,第1张

蜘蛛的爬行可以通过你空间的IIS日志查看,一般网站的根目录下都有LOG这样的文件夹。日志就保存在里面。不知道你的是不是win的系统,我用过wordpress的一个插件,是可以统计到机器人的访问记录

网站日志可在服务器端下载,文件后缀名为log

下载下来后可用爱站工具包进行日志分析,可以分析出蜘蛛爬取的网站目录、网站页面、蜘蛛ip

但是免费用户只能查看日志文件20M以下的。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/yw/13362229.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-22
下一篇 2023-07-22

发表评论

登录后才能评论

评论列表(0条)

保存