经常听到站长问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁了,网络服务器被抓爆了。百度蜘蛛最近不来怎么办?也有很多网站想要百度蜘蛛的IP段,想把IP加入授权管理,但是IP不固定。这个百度搜索级别还是不透露基本信息。
怎样才能识别出合适的百度蜘蛛?来,就两步教你如何正确识别百度蜘蛛。
1。查询UA,如果UA也是错的,可以立刻判断出不是网页搜索的搜索引擎蜘蛛。现阶段已经对外发布的UA是:
MoveUA:
Mozilla/5.0(Linux;u;安卓4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)版本/5.1手机Safari/10600.6.3(兼容;baiduspider/2.0;http://www.baidu.com/search/spider.html)
PCUA:
Mozilla/5.0(兼容;baiduspider/2.0;http://www.baidu.com/search/spider.html)
添加3D渲染UA:
移动UA:
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMACOSX)appleWebKit/601.1.46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;http://www.baidu.com/search/spider.html)
PCUA:
Mozilla/5.0(兼容;baiduspider-render/2.0;http://www.baidu.com/search/spider.html)
2。检查IP
站长可以根据DNS搜索IP的方法来判断一个蜘蛛是否来自百度搜索百度搜索引擎。根据平台的不同,认证方式也不同。例如,linux/windows/os下的认证方法如下:
1)在linux平台上,可以使用hostip命令对ip进行解码,判断是否来自Baiduspider的抓取。Baiduspider的主机名以*.baidu.com或*.baidu.jp的格式命名。如果不是*.baidu.com或者*.baidu.jp,就是假的。
2)在windows平台或IBMOS/2平台下,可以使用nslookupip命令解析ip来判断是否来自Baiduspider的抓取。打开CPU,输入nslookupxxx.xxx.xxx(ip地址)分析ip,判断是否来自Baiduspider的抓取。Baiduspider的主机名格式为*.baidu.com或*.baidu.jp
3)在macos平台上,可以使用dig指令解析ip来判断是否来自Baiduspider的抓取。打开CPU,输入digxxx.xxx.xxx.xxx(ip地址)分析ip,判断是否来自Baiduspider的抓取。Baiduspider的主机名以*.baidu.com或*.baidu.jp的格式命名
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)