如何识别搜索引擎蜘蛛IP?

这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
22018138198 - - [11/Nov/2007:04:28:29 +0800] "GET / >这里介绍通过看日志来了解百度蜘蛛是否来过：很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期txt文本文件。下载到本地，用记事本打开txt文本，一般百度蜘蛛代码是“baiduspider”，我们可以查找下文档中是否存在“baiduspider”，如果存在，看下里面的代码：2010-04-19 21:06:44 W3SVC725 582212972 GET /robotstxt - 80 - 220181714 Baiduspider+(+>呵呵
肯定不是
百度的蜘蛛不会游览你网页的任何东西，他只是记录你网页的关键字以及密度
而且百度也不养蜘蛛，
他的爬行顺序是有一定规律的，他不是通过Ip来访问的

---