如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求_python

概述网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。

所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。

要获得ip的host，在windows下可以通过nslookup命令，在linux下可以通过host命令来获得，例如：

这里我在windows下执行了nslookup ip 的命令，从上图可以看到这个ip的主机名是crawl-66-249-64-119.Googlebot.com。这说明这个ip是一个Google爬虫，Google爬虫的域名都是 xxx.Googlebot.com.

我们也可以通过python程序的方式来获得ip的host信息，代码如下：

import socketdef getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0],None except socket.herror,e: return None,e.message

上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。

常用蜘蛛的域名都和搜索引擎官网的域名相关，例如：

百度的蜘蛛通常是baIDu.com或者baIDu.jp的子域名

Google爬虫通常是Googlebot.com的子域名

微软bing搜索引擎爬虫是search.msn.com的子域名

搜狗蜘蛛是crawl.sogou.com的子域名

基于以上原理，我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面，该页面上提供了网页判断的工具和常见的Google和bing的搜索引擎爬虫的ip地址。

附带常见搜索引擎蜘蛛的IP段：

ps：https协议网页能够被搜索引擎收录吗

百度现在只能收录少部分的https，大部分的https网页无法收录。

不过我查询了Google资料，Google能够比较好地收录https协议的网站。

所以如果你的网站是中文的，而且比较关注搜索引擎自然排名流量这块，建议尽量不要将所有内容都放到https中去加密去。

可考虑的方式是：

1、对于需要加密传递的数据，使用https，比如用户登录以及用户登录后的信息；

2、对于普通的新闻、图片，建议使用http协议来传输；

3、网站首页建议使用http协议的形式。

总结

以上是内存溢出为你收集整理的如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求全部内容，希望文章能够帮你解决如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。

欢迎分享，转载请注明来源：内存溢出

如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求