详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义

其实我们在seo网站优化上一般都是一个无所不知，无所不能的位置，因为影响排名的因素太多了，比如我们今天要讲的话题。如果对日志的分析不能理解蜘蛛的爬行轨迹，那么如果优化过程中出现了问题，很有可能是思路错了，你不知道。

IIS的目的是观察搜索引擎蜘蛛对我们网站的抓取情况，更近距离的分析和接触蜘蛛。爬次数，爬时间点，爬高峰次数，爬反映的HTTP状态码，给我们带来了清晰的分析便利。

一、各大搜索引擎的蜘蛛名:

百度爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎爬虫名称(YahooSlurp)

有道蜘蛛名(YodaoBot)

搜狗蜘蛛的名字

MSN的蜘蛛名:msnbot

二。IIS分析:

案例:61.135.168.22-[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1.htmlhttp/1.1"；2008450"-"；"baiduspider(+http:-www-Baidu-com/search/spider.htm)"；

分析:

1.61.135.168.22访问了服务器IP地址是这个的网站。

2.11/Jan/2009:04:02:45表示蜘蛛爬行时间。

3.GET/thread-7303-1-1.htmlHTTP，表示蜘蛛抓取了这个页面。

4.状态代码200表示蜘蛛成功抓取了页面；404表示蜘蛛无法抓取页面。

5.8450表示这次捕获了8450个字节。

6.百度蜘蛛(+http:-www-Baidu-com/search/Spider.htm)表示百度蜘蛛的名称。

三。基本状态代码:

200:请求已完成，蜘蛛正常访问页面。

31:它已经移动，永久重定向。

02:临时重定向

34:蜘蛛爬行发现页面未被修改。

35:使用代理

40:请求错误

44:找不到页面。

四。IIS详细状态代码的含义:

00-表示请求的一部分已经收到，其余部分正在发送。

01-切换协议。

2XX-成功服务器成功接受了客户端请求。(只要是2XX就代表成功)

00-好的。客户端请求成功。

21-已创建。

22-接受。

03-未命名信息。

24-无内容。

25-重置内容。

26-部分内容。

00-服务器可以响应于接收到的请求执行各种 *** 作。

31-永久移动转移，请求的内容已被永久移动到其他新位置。

02-临时移动传输，请求的内容已临时移动到新位置。

304-未修改。自上次请求以来，请求的内容未被修改。

307-临时重定向。目前，服务器响应来自不同位置的请求，但是请求者应该继续使用原始位置用于将来的请求。

400-错误的请求。

41-访问被拒绝。IIS定义了许多不同的401错误，这些错误指出了更具体的错误原因。这些特定的错误代码显示在浏览器中，但不在IIS日志中:

41.1-登录失败。

41.2-服务器配置导致登录失败。

41.3-由于ACL对资源的限制，未获得授权。

41.4-过滤器授权失败。

01.5-ISAPI/CGI应用程序授权失败。

41.7-Web服务器上的URL授权策略拒绝访问。此错误代码是特定于IIS6.0的。

403-禁止访问:IIS定义了许多不同的403错误，这些错误指出了更具体的错误原因:

03.1-禁止执行访问。

03.2-禁止读取访问。

03.3-禁止写访问。

43.4-需要SSL。

03.5-SSL128是必需的。

03.6-IP地址被拒绝。

03.7-需要客户证书。

03.8-网站访问被拒绝。

43.9-用户太多。

43.10-无效配置。

03.11-密码更改。

03.12-对映射表的访问被拒绝。

03.13-客户端证书被吊销。

43.14-拒绝目录列表。

03.15-超出客户端访问许可证。

43.16-客户端证书不可信或无效。

43.17-客户证书已过期或尚未生效。

43.18-请求的URL无法在当前应用程序池中执行。此错误代码专用于IIS6.0。

43.19-无法为该应用程序池中的客户端执行CGI。此错误代码专用于IIS6.0。

403.20-Passport登录失败。此错误代码是特定于IIS6.0的。

44-未找到请求的内容。

44.0-找不到文件或目录。

44.1-无法通过请求的端口访问网站。

404.2-Web服务扩展锁定策略阻止了此请求。

404.3-MIME映射策略阻止此请求。

45-不允许用于访问此页面的HTTP谓词(不允许方法)

06-客户端浏览器不接受所请求页面的MIME类型。

07-需要代理认证。

412-先决条件失败。

413-请求实体太大。

414-请求URI太长。

45-不支持的媒体类型。

46-无法满足请求的范围。

417-执行失败。

43-锁定错误。

00-服务器内部错误。

50.12-应用程序正忙于在Web服务器上重新启动。

00.13-web服务器太忙。

00.15-不允许直接请求Global.asa。

500.16-UNC授权凭证不正确。此错误代码是特定于IIS6.0的。

50.18-无法打开URL授权存储。此错误代码是特定于IIS6.0的。

00.100-内部ASP错误。

01-服务器无法完成请求的功能。

02-服务器用作网关或代理服务器时收到无效响应。

502.1-CGI应用程序超时。

02.2-CGI应用程序出错。

53-服务不可用。此错误代码是特定于IIS6.0的。

54-网关超时。

505-不支持HTTP版本。