如何优化网站结构更利于搜索引擎蜘蛛抓取？

如何优化网站结构更利于搜索引擎蜘蛛抓取？

1。平面结构或树形结构

说到网站结构，大家都会提到平面结构和树形结构，必须称之为“平面结构”。这些指的是物理结构，即由基于内容聚合的目录和文件位置确定的结构。其实对于百度搜索引擎来说，只要结构合理，逻辑合理，内容能遵循规则，都是友好的。

2。链接结构优化:

相对于物理结构，要说的是逻辑结构:内部链接形成的链接结构，逻辑结构是搜索引擎最关注的。对于一个网站来说，一个网页只能一层一层的通过首页目录1和目录2是远远不够的。好的连接结构应该是网状的。

通过导航让百度更了解网站。对于用户来说，导航要解决的问题是:我在网站的什么位置，我想在哪里看到更多的内容进入上层，甚至是上层；对于蜘蛛来说，导航要解决的问题是:这个页面属于哪个领域，要表达什么主题。因此，清晰的导航系统不仅有助于提升用户体验，对SEO也有着重要的意义。所有SEO优秀的网站基本都有清晰的导航。

导航内容搜索引擎是看得见的:网站的导航很漂亮，对用户很友好，但百度看不见。目前百度还做不到所有的JS和flash。为了安全起见，尽量使用HTML。图片虽然好看，但是作为导航对搜索引擎并不友好。

导航稳定性:导航内容要相对固定，不要让导航变成“滚动条”。

重要网页在导航中可以尽量跟随:百度认为主导航中的链接仅次于网站首页，所以要尽量在主导航中给站内网页安排一个位置。当然，主导航上不能放太多内容，也需要SEO人员平衡哪些链接可以放在主导航上。

娴熟的面包屑导航:如前所述，导航解决了用户“找到一级甚至更多内容”的问题。这种导航是指面包屑导航。面包屑导航可以让结构复杂的大中型网站变得清晰轻便。蜘蛛解析页面的时候，会把重点放在面包屑导航内容上。强烈建议使用。

合理的域名结构除了网站建设，站长们还会考虑是否使用二级域名或者子目录。在网站运营的过程中，他们也会考虑是否将子目录的内容划分为二级域名。因为很多SEO工作者认为二级域名相对独立，其首页就会得到百度的关注，获得更好的排名——其实这是一种片面的错误观点。百度会通过很多指标来判断同一个域下的二级域名和子目录的重要性，所以不要武断的认为谁生的比谁好。

当SEO认为网站的结构阻碍了网站的快速发展，就会考虑修改。常见的修改是将子目录移出主站点，形成单独的辅助域名。但是我们都知道改版肯定会影响网站的排名和流量，所以要慎重。那么，什么情况下真的需要把子目录改成辅助域名呢？其实只有一点:子目录内容足够丰富，但是主域主题不相关！

如何优化网站结构帮助搜索引擎蜘蛛抓取？

3。URL结构优化也很重要，要尽量短

URL结构标准化:同一个网页有不同的URL，会导致用户同时推荐多个URL，造成权重分散；同时，百度最终选择显示的网址也不一定符合你的预期。网站尽量不要放不必要的内容，比如会话ID和统计代码的URL。如果不得已，可以禁止百度通过机器人抓取这些不标准的网址。

用户可以从URL判断网页内容，方便蜘蛛分析，在用户中传播。

URL规范化是指搜索引擎选择最合适的URL作为真实URL的过程。举个例子，当你不做任何设置的时候，一个新的网站实际上会有四个网址，比如:

如果我们必须使用不同的域名来显示相同的内容，我们可以使用rel="canonical"标记来添加上述内容。

动态参数不要太多太复杂。目前百度对动态URL的处理还是不错的，但是参数太复杂的URL可能会因为不重要而被蜘蛛抛弃。

4。网站地图

网站是一种方便的服务，网站管理员将网站上可用的网页通知给搜索引擎。有点像博客的RSS功能。如果每个人(互联网上的所有信息源)都以这种方式提交自己的更新，搜索引擎就不必再到处发送这么多爬虫了。任何网站只要有更新都会自动“通知”搜索引擎，方便搜索引擎索引。

站点文件通常是相对简单的XML格式。站点协议以开始标记开始，以结束标记结束。每个URL都包含一个条目作为父标记。每个父标签包含一个子标签条目。是web文件的URL。URL应该以HTTP开头，并且少于2048个字符。指示上次修改文件的日期。此日期允许您删除时间部分，如yyyy-mm-dd。

5。使用nofollow

Nofollowtag是由Google牵头新创建的标签，其目的是将垃圾链接对搜索引擎的影响降到最低，减少博客上的垃圾信息。目前百度、谷歌、雅虎、微软都支持这个标签。当超链接标签出现在超链接中时，搜索引擎不会考虑这些链接的权重，也不会使用它们进行排序。建议:将nofollow添加到WordPress的WPpagenavi插件中

nofollow标签通常有两种用法:

需要注意的是，如果一个网站链接了一些被搜索引擎视为垃圾的地址，网站的权重也会受到影响。因此，为了安全起见，所有可能由第三方提交的超链接都应该标记为nofollow。

6。相关物品的合理使用

对于新手来说，建网站的时候加很多标签很容易出错。这样做的目的是增加相关文章的数量。我们知道相关文章对SEO优化和用户都有很大的好处，但是很多不相关的文章进入了相关文章列表，在搜索同一个标签时重复文章太多，导致标签对用户体验毫无意义。相关文章可以手动推荐，也可以百度的网站推荐。建议使用手动推荐。虽然麻烦，但是效果不错。