百度网站抓取异常的原因有哪些?有什么影响和解决方法?松友饮

百度网站抓取异常的原因有哪些?有什么影响和解决方法?松友饮,第1张

所谓抓取异常,就是指搜索引擎蜘蛛无法抓取网站页面,百度抓取异常的原原因主要分两大类,一是网站异常,二是链接异常
网站异常原因
1、dns异常
当百度蜘蛛(Baiduspider)无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁了。
可以用WHOIS或者host查询自己网站IP地址是否正确而且可以解析,如果不正确或无法解析,与域名注册商联系,更新网站IP地址。
2、连接超时
抓取请求连接超时,可能原因是:服务器过载或网络不稳定。
3、抓取超时
抓取请求连接建立后,下载页面速度过慢,导致超时。可能原因服务器过载,带宽不足。
4、连接错误
无法连接或者连接建立后对方服务器拒绝。
5、服务器异常
服务器连接异常最大的可能是网站服务器过大,超负荷运转,通过检查浏览器输入你的域名是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。
6、域名过期
域名过期网站肯定不能访问,域名解析就会失效了。如果存在这类情况,你可以与你域名注册商联系解决,看是否被抢注,还是可以续费回来。
7、网络运营商异常
电信和联通这两种都是属于网络运营商,蜘蛛无法访问的网站。
如果是因为电信或联通网络运营商出现问题,与网络服务运营商联系或者购买CDN服务。
8、robotstxt文件设置问题
robotstxt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取,但也可能会存在把重要的页面也给屏蔽了,可以检查下robots文件设置。
9、死链接因素
原本正常的链接后来失效了就是死链接,死链接发送请求时,服务器返回404错误页面。死链的处理方案可以通过百度站长平台提交死链文件。
链接异常原因
1、访问被拒绝
爬虫发起抓取,>可能是你所在的服务器过载,或者是你的网络不太稳定导致的,之前能玩游戏的话,电脑应该没有什么问题,如果不是这个,可能是下载之后的文件补丁包缺少文件导致游戏无法使用,这样的话,就只能重新下载游戏了。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/10653056.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-10
下一篇 2023-05-10

发表评论

登录后才能评论

评论列表(0条)

保存