如发现蜘蛛爬行网站不顺畅，首当其冲是清理网站陷阱

如果发现搜索引擎蜘蛛抓取网站不流畅甚至不抓取，可能是网站陷阱导致蜘蛛抓取变得不流畅，进而导致部分蜘蛛无法抓取。阻碍蜘蛛抓取的网站陷阱有哪些？

陷阱一:网站地图不正确

网站是一个非常有用的网站工具。对于用户和蜘蛛来说，一个完整正确的网站地图可以很好的识别整个网站的结构，从而更好的浏览和抓取网站。由于一些站长对代码和网站的架构不熟悉，就随意选择一个口碑不好的工具来制作不完整或不正确的网站地图。结果就是蜘蛛爬行的时候被夹在里面，最终迷路。

选择知名工具制作网站地图，如站长工具、百度站长平台工具等。如果对网站比较熟悉，可以手工制作，多次测试，保证网站图的正确性和完整性。

陷阱二:网站死链接数量巨大

所谓死链接，就是返回代码为404的错误页面链接。这种链接一般发生在网站改版或者网站域名变更之后。死链接的存在对于用户体验和蜘蛛抓取都是非常不好的。死链接无疑会阻止蜘蛛爬行。当蜘蛛接连遇到这些死链接，就会不信任网站，最终放弃抓取网站。

(1)提交死链接。使用百度站长平台的“死链提交”工具提交网站死链。具体说明请参考百度站长工具。

(2)重定向或删除死链接。如果死链接的位置不是很重要，可以重定向到首页。如果位置重要，数量较多，可以选择删除死链接，可以使用工具删除。

注:上图是蜘蛛抓取网站不流畅的原因。

陷阱URL包含太多参数

虽然百度的优化指南官方表示百度搜索机器人可以像googlebot一样收集动态参数的网站，但是静态url的网站永远比动态url的网站更有优势。因此，如果您的网站像下面的URL一样，可能会导致蜘蛛爬行不顺畅:

在选择网站程序之前，一定要考虑程序是否支持网站url静态，并在以后的维护中注意网站url是否真的是静态的，尽量摒弃动态URL包含参数的做法。

陷阱四:网站锚文本过多

网站锚文本太多，导致链链轮。相信大家都会知道外接链轮，但其实内联也可以产生链轮。很多站长为了提高关键词排名，不惜使用过多的锚文本，进而造成页面之间的链接循环效应，进而让蜘蛛走入无底洞，出不来。

所以我们需要不断探索搜索引擎蜘蛛的抓取规律，为蜘蛛的抓取创造一个顺畅的网站环境，这样才能保证我们的网站每天都被蜘蛛抓取，赢得更好的网站权重和排名。