分析网站蜘蛛抓取与流量下降的原因与解决方法

分析网站蜘蛛抓取与流量下降的原因与解决方法

在网站的日常运营中，我们偶尔会遇到以下问题:

①网站流量持续下降。

②网站抓取频率同时降低。

③网站的指标量不变。

面对这种情况，从SEO的统计中，我们经常会发现关键词排名呈断崖式下降，从而导致被降职的现象。一时间，SEO人员无所适从。

所以，抓取的同时网站流量也在下降。怎么才能复习呢？

1。服务器更换

更换服务器时，如果处理不当，还是非常容易造成百度爬虫爬行不稳定，比如:

①网站稳定性

更换服务器后，您的服务器线路和IP可能会改变。这时候就需要在百度后台查看一下，百度蜘蛛的访问是否频繁导致“链接超时”。

如果这个问题在不同的时间节点大量出现，肯定会影响抓取量。

②网站网址变更

由于更换服务器，对于一些处于伪静态的网站，往往需要调整伪静态规则。在这个过程中，如果你的规则处理不当，动态URL和伪静态URL就会并存。

然后，很容易造成大量重复网址的出现，你可以简单的通过站点域名进行检查。

如果出现这种问题，一是修正相关规则，二是使用301重定向。

③防护软件的意外伤害。

很多站长会在服务器上打开第三方安全防护软件。这些软件大多都有自动屏蔽IP的功能。如果某个IP段有大量攻击，他们甚至会自动屏蔽该IP段。

但有时候，也很可能出现“误伤”，比如:误屏蔽了百度蜘蛛的IP段。

④服务器安全

毫无疑问，如果一个网站被黑，往往是流量暴跌和抓取的主要原因。你需要检查代码是否被恶意篡改，是否有选择性d窗(根据IP区域，区分用户和蜘蛛等。)

2。网站优化策略

如果你最近的优化策略比较激进或者被动，就会出现上述问题，比如:

①被刷点击

这是一个很无语的行为，但是百度经常会误以为你是想作弊，导致误伤。

②短期外链

对于外链的优化，有时候快速建立大量的外链问题不大。问题是，如果你建立的低质量的外链，比如新闻站的外链，恰好有一些域名在百度黑名单里，那么你的站点可能会在短时间内迅速受到牵连。

而如果你选择新的网站用户组域名，那么可能会更好。

③关键词积累

百度最近推出了“百度搜索网页标题规范”。你仔细检查过了吗？有大量网站的标题因为关键词堆积和标点符号使用不当而被修改，导致大量页面排名丢失。