meta robots 与Robots.txt 的差别与使用时机

metarobots与Robots.txt的差别与使用时机

在网站排除搜索部分，本网之前已经讨论过Robots.txt主要用于提交给搜索引擎的网页列表中不进行搜索，也详细介绍了Robots.txt的具体应用和设置。所以在掌握了排除搜索这一部分之后，人们就要更详细的介绍排除索引这一部分了。回过头来看，我们在第一次讨论该部分的时候，已经提到了搜索引擎其实是利用“搜索”和“索引”的功能，在百度上收集网页的新闻信息，展示给用户进行搜索。所以Robots.txt的讨论主要是排除搜索的功能。

虽然检索和索引这两种功能有很大的相关性，但是它们在网页上的姿态是有本质区别的。在这里，人们用一种更通俗的描述来说

搜索=检查

索引=收藏夹

所以，其实搜索引擎的运行顺序是先检查网页的内容和互联，再决定是否个人收藏。所以Robots.txt的效果就是当一个搜索引擎访问的时候，立刻提出不需要查的新闻信息，如果主观臆断就更不可能被个人收集，达到不查不收录的实际效果。

在对百度收录搜索引擎的基本原理有了更为既定的认识之后，人们要详细介绍的一部分就是通过元机器人对“索引”的排除。这个时候，我坚信大家可能会有一些疑惑。Robots.txt可以达到不查不收录百度的实际效果。为什么元机器人一定要排除“索引”？关键原因是Robots.txt会让搜索模块不立即检查进程，会立即忽略相关内容，甚至认为是网站的内容。

而metarobots的应用，可以让搜索引擎先“查”，仍然把内容当做网站的一部分，但不一定要展示给用户个人收藏。所以这些差异也会导致网站整体的一致性。所以在不必要的情况下，不推荐Robots.txt的应用，但是强烈推荐metarobots的应用。

有关文章推荐

robots.txt写作，机器人是如何被限制和解除的，加载标准robots.txt作为标准合同加入，供所有搜索引擎相互遵循。当搜索引擎蜘蛛抓取网站时，首先检查网站是否有机器人[…]...

robots.txt文件协议设置方法数据营销人员和搜索引擎推广专业人员应该明白搜索引擎索引的必要性，这也是他们竭尽全力协助各种搜索引擎抓取和索引的原因[…]...

明确网页的网址结构是自适应的[…]...

[岳阳seo]用robots.txt屏蔽搜索引擎蜘蛛对网站的抓取。搜索引擎智能机器人不断抓取网站，方便将其加入搜索引擎索引。然而，有时开发者希望在[…]中隐藏他们的网站或特殊网页...

百度不收录网站的9个理由。对于新网站来说，还有比网站不被网站收录或索引更麻烦的事情吗？本文致力于帮助您发现百度搜索将无法为您的网站编译[…]...