蜘蛛抓取规律与外链及时性的探索

做SEO优化大家都知道搜索引擎的入口页面是被蜘蛛抓取的，所以要了解搜索引擎的变化。搜索引擎蜘蛛是由工程师编写的机器。必须有一些规则。

一、搜索引擎蜘蛛抓取规则

1.优质网站致力于蜘蛛抓取，及时抓取，及时收藏，及时发布供网民搜索；

2.普通网站，分配一定量的蜘蛛抓取资源，爬到一定量不抓取；

根据以上两个抓取原则，采用两种抓取方式:水平抓取和垂直抓取；

网页抓取规则:遵循F型抓取规则，从左到右，从上到下。

探索蜘蛛抓取规律及外链时效性

一般来说，进入一个新网站需要一段时间。搜索引擎进入一个网站，一般是从首页采集，然后沿着首页进入内页。搜索引擎很“花哨”。它不是一次性的站点被完全抓取，而是分时段抓取，然后计算蜘蛛在站点内活动的时间和长度。

即使爬取了新站点的页面，也不会立即发布。需要搜索引擎反复检查，承认需要进入网站，页面才会发布。一般来说，新网站的快照和门户页面会在一周后发布。

记住下面这句话:搜索引擎蜘蛛抓取一个网站的时候，一定不能出现网站打不开或者出现死链的情况。如果出现这种情况，搜索引擎会继续抢占网站，何时再次出现还不确定。很多人都有一个不好的习惯，但也有一个很好的猜测，域名越老，越会被搜索引擎信任。

人很多，网站刚做完首页，马上上线。首页大部分链接都是死链，搜索引擎蜘蛛进入。抓取网站内页时，进不去，大大降低了网站的形象，从而减少了抓取网站的次数。假设下次访问时网站还是一样的。如果你再来几次，搜索引擎蜘蛛就会不友好，认为这是一个低质量的网站。毕竟它会放弃抢占网站。

网站成功开通一段时间后，才能进入稳定期。百度和谷歌会给新站一段时间检查。过了考察期，他们认为网站是长期网站，持续3-6个月。在网站稳定期，搜索引擎蜘蛛会经常出现，仍然像以前一样从首页进入网站进行抓取。

百度和谷歌略有不同。如果百度发现网站首页内容没有变化，会立即停止抓取。谷歌的情况并非如此。即使发现网站首页没有变化，也会一如既往的跟随首页的链接，这也是Google页面比百度多的原因之一。

更新网站内容时，必须显示在网站首页，否则百度蜘蛛不会进入更新后的页面，因为首页没有变化，百度蜘蛛不会抓取内页，所以对新的页面攻击毫无察觉。这也是一些公司网站常见的错误之一。首页内容是死的，无法更改，导致网站输入不变。安全期网站快照和输入页面一般都是这两天发布的。。搜索引擎也一样，对网站形象好，会经常来，经常更新网站快照，经常进入网页；假设网站形象不好，那么我们首先需要支持网站。只是网站有点“打擦边球”的嫌疑，极有可能被封杀。

二、外链是否有时效性

有些博客(可能是2016年因为流量过大被删了)年前就删了，但是百度还有快照。今天看到了下一个首页的快照，但是文章页还在。看快照日期，可以看到2016年甚至更久。

也就是说网页虽然删除了5年，但是百度的快照并没有删除，所以你觉得链接蜘蛛会爬吗？我也这么认为我有一个链接到这个博客的博客站点的域名。那时候我刚跳到博客首页。后来开始做博客领域A，很快就有了不错的权重，文章几秒钟就很容易收藏了。我相信五年前的这个环节起到了很大的作用。

如果该链所在页面的搜索引擎没有快照，那么该链是否有效？这个答案可能会让很多人大吃一惊，链所在的页面没有快照依然有效。原因可以从我写的蜘蛛如何抓取链接的文章中看出。蜘蛛抓取页面后，会将内容与链接分离。链接，即URL，将被添加到URL索引库中。蜘蛛抓取从这个URL索引库开始。

三。那么外链对搜索引擎有效吗？

显然，这应该是时间敏感的。那么我猜测外链失败的原因有两个:外链被删除的页面或者链接被删除。

1.鉴于页面被删除，搜索引擎要在一定时间后继续抓取页面上的外链，直到404，它会向搜索引擎的URL索引数据库发出删除外链的命令。

2.当页面发生变化时，搜索引擎也要抓取外链，直到包含外链的快照在搜索引擎中被完全删除，并向URL索引数据库发出删除外链的命令。因为有外链的页面会根据情况保存N个时间段的快照，有时候会搜索到不同的词，网页的快照也不一样。