【官方说法】只需两步,正确识别百度蜘蛛

【官方说法】只需两步,正确识别百度蜘蛛,第1张

【官方说法】只需两步,正确识别百度蜘蛛

经常听到站长问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁了,网络服务器被抓爆了。百度蜘蛛最近不来怎么办?也有很多网站想要百度蜘蛛的IP段,想把IP加入授权管理,但是IP不固定。这个百度搜索级别还是不透露基本信息。

怎样才能识别出合适的百度蜘蛛?来,就两步教你如何正确识别百度蜘蛛。

1。查询UA,如果UA也是错的,可以立刻判断出不是网页搜索的搜索引擎蜘蛛。现阶段已经对外发布的UA是:

MoveUA:

Mozilla/5.0(Linux;u;安卓4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)版本/5.1手机Safari/10600.6.3(兼容;baiduspider/2.0;http://www.baidu.com/search/spider.html)

PCUA:

Mozilla/5.0(兼容;baiduspider/2.0;http://www.baidu.com/search/spider.html)

添加3D渲染UA:

移动UA:

Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMACOSX)appleWebKit/601.1.46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;http://www.baidu.com/search/spider.html)

PCUA:

Mozilla/5.0(兼容;baiduspider-render/2.0;http://www.baidu.com/search/spider.html)

2。检查IP

站长可以根据DNS搜索IP的方法来判断一个蜘蛛是否来自百度搜索百度搜索引擎。根据平台的不同,认证方式也不同。例如,linux/windows/os下的认证方法如下:

1)在linux平台上,可以使用hostip命令对ip进行解码,判断是否来自Baiduspider的抓取。Baiduspider的主机名以*.baidu.com*.baidu.jp的格式命名。如果不是*.baidu.com或者*.baidu.jp,就是假的。

2)在windows平台或IBMOS/2平台下,可以使用nslookupip命令解析ip来判断是否来自Baiduspider的抓取。打开CPU,输入nslookupxxx.xxx.xxx(ip地址)分析ip,判断是否来自Baiduspider的抓取。Baiduspider的主机名格式为*.baidu.com*.baidu.jp

3)在macos平台上,可以使用dig指令解析ip来判断是否来自Baiduspider的抓取。打开CPU,输入digxxx.xxx.xxx.xxx(ip地址)分析ip,判断是否来自Baiduspider的抓取。Baiduspider的主机名以*.baidu.com*.baidu.jp的格式命名

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/763618.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-01
下一篇 2022-05-01

发表评论

登录后才能评论

评论列表(0条)

保存