返回顶部

赞助商链接

判断IP是否是搜索引擎蜘蛛(爬虫)工具

IP地址:
验证码:
看不清?点击更换验证码图片
 

判断IP是否是搜索引擎蜘蛛的原理说明:

通过linux系统下的host命令或者windows系统下的nslookup命令根据ip反向查找域名,根据反向查找的域名判断是否是搜索引擎的蜘蛛或者爬虫。

常用蜘蛛的域名都和搜索引擎官网的域名相关,例如:

  • 百度的蜘蛛通常是baidu.com或者baidu.jp的子域名
  • google爬虫通常是googlebot.com的子域名
  • 微软bing搜索引擎爬虫是search.msn.com的子域名
  • 搜狗蜘蛛是crawl.sogou.com的子域名

判断IP是否是搜索引擎蜘蛛的核心Python代码

import socket
def getHost(ip):
    try:
        result=socket.gethostbyaddr(ip)
        if result: return result[0], None
    except socket.herror,e:
        return None, e.message
    

常见搜索引擎蜘蛛(爬虫)的IP段如下表:

附带常见搜索引擎蜘蛛的IP段:

蜘蛛名称IP地址
Baiduspider

202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*

YodaoBot

202.108.7.215 202.108.7.220 202.108.7.221

Sogou web spider

219.234.81.* 220.181.61.*

Googlebot

203.208.60.*

Yahoo! Slurp

202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*

Yahoo ContentMatch Crawler

119.42.226.* 119.42.230.*

Sogou-Test-Spider

220.181.19.103 220.181.26.122

Twiceler

38.99.44.104 64.34.251.9

Yahoo! Slurp China

202.160.178.*

Sosospider 124.115.0.*
CollapsarWEB qihoobot

221.194.136.18

NaverBot

202.179.180.45

Sogou Orion spider

220.181.19.106 220.181.19.74

Sogou head spider

220.181.19.107

SurveyBot

216.145.5.42 64.246.165.160

Yanga WorldSearch Bot v

77.91.224.19 91.205.124.19

baiduspider-mobile-gate

220.181.5.34 61.135.166.31

discobot

208.96.54.70

ia_archiver 209.234.171.42
msnbot

65.55.104.209 65.55.209.86 65.55.209.96

sogou in spider

220.181.19.216