robots.txt文件协议设置技巧

robots.txt文件协议设置技巧

数据营销人员和搜索引擎推广专业人员应该明白搜索引擎索引的必要性，这也是他们竭尽全力协助各种搜索引擎合理抓取和索引其网站，投入时间和资源进行页内和页外推广(如内容、链接、logos、元叙述、形象推广、网站建设等)的原因。).

然而，虽然不清楚高级seo优化是搜索成功的基础，但忘记搜索引擎改进的技术部分可能是一个严重的错误。如果你从来没有说过robots.txt，智能机器人logo，XML站点，微文件格式，X-Robotlogo，你会遇到不便。

但是请不要惊慌。在本文中，我将描述如何应用和设置robots.txt徽标。因为我会举很多具体的例子。现在开始！

什么叫robots.txt？

Robots.txt是一个文本文件，表示搜索引擎智能机器人(也称为爬行专用工具、智能机器人或搜索引擎蜘蛛)如何抓取和索引网页。理想情况下，robots.txt文件将被放在您网站的顶层文件目录中，以便智能机器人可以立即浏览其指示。

为了将指令传输到不同种类的搜索网络爬虫，robots.txt文件必须符合智能机器人清除协议(REP)中的特殊规范，该协议于1983年建立，然后在1996年、1995年和2006年进行了大幅扩展。

纵观他们的历史，robots.txt文件已经逐渐完善，适用于特殊抓取工具命令、URI展开、索引命令(也叫REPlogo或智能机器人meta-logo)及其微文件格式rel="nofollow"。

因为robots.txt文件提供了搜索数据漫游者如何抓取或不抓取这个站点或网站的这一部分的具体说明，所以掌握这个文件的使用和设置非常重要。如果robots.txt文件设置不正确，一些索引将会不正确。所以每次开始新的SEO主题活动，请手动检查你的robots.txt文件。

不要忘记:如果一切顺利，robots.txt文件将加快整个索引过程。

用robots.txt掩藏

Robots.txt文件可以用来从搜索中清除一些文件目录、类型和页面。因此，请应用“不允许”命令。

以下是您应该用robots.txt文件隐藏的一些页面:

包括重复的内容。

分页查询页面

动态商品和服务页面

帐户页面

管理方法页面

加入购物车

闲话

在大多数情况下，它看起来像这样:

在上面的例子中，我做了标记，以防止在搜索栏中搜索商品或按价格排列时，对客户的账号、购物车和客户转换成的几个动态页面的所有页面进行抓取和索引。

但是，请不要忘记，所有的robots.txt文件都可以在互联网上发布。要浏览robots.txt文件，只需键入:

Www.simcf.cc/robots.txt(自己改网站域名就行)；

这种易用性代表了您无法在其中维护或隐藏的所有数据信息。此外，意向智能机器人和意向抓取工具可以使用robots.txt文件作为详细地图来访问最有价值的网页。

此外，请记住，robots.txt指令实际上是一个命令。这意味着，即使你标记他们不需要，搜索数据漫游者也可以抓取你的URL并将其编入索引。好消息是，大多数搜索引擎(如百度搜索、360、谷歌、必应、雅虎和Yandex)都遵循robots.txt命令。

Robots.txt文件无疑是有缺陷的。即便如此，我还是强烈建议你将它们作为每一个SEO主题活动不可或缺的一部分。各种搜索引擎都是识别并遵循robots.txt命令的，大多数情况下搜索引擎承担你的义务就够了。

怎么使用Robots.txt

Robots.txt文件更加灵活，可以多种方式应用。众所周知，它们的关键好处是可以让SEO权威专家一次性“允许”或“禁止”几个页面，而不是一个一个地浏览每个页面的代码。

例如，您可以阻止内容的所有搜索和爬网工具。喜欢这个:

代理人:*

不允许:/

User-agent:* Disallow:/

或者隐藏您的URL的文件目录结构和特殊类型，如下所示:

代理人:*

否:/否-索引/

User-agent:* Disallow:/no-index/

从搜索中清除几页也是有效的。只要从搜索爬取的专用工具中分析出你想要隐藏的网址就可以了。然后，给你的robots.txt添加“disallow”指令，列出这样的网址，看看！–各种搜索引擎不再显示这类网页。

但更重要的是，robots.txt文件允许您优先选择某些页面、类型，甚至CSS和JS编码。看一下下面的例子:

在这里，人们不允许应用WordPress页面和特殊类型，但允许应用wp-content文件、JS软件、CSS样式和博客。这种方法可以确保搜索引擎蜘蛛能够抓取并索引有效的代码和类型。

还有一件关键的事情:robots.txt文件是sitemap.xml文件的未来组成部分之一。它应该放在客户代理、禁止、允许和服务器指令之后。喜欢这个:

注意:你可以手动添加你的robots.txt文件到站长管理服务平台，如果你的总体目标是搜索百度站长工具。这是一种更安全的方式，因为它可以保护您的内容免受竞争对手网站的系统管理员的攻击。

虽然robots.txt的构造和设置很简单，但是正确设置文件可以使你的SEO主题活动成功或失败。谨防应用设置:可以随意“禁用”所有网址，然后等待总流量和客户也无济于事。

基础

搜索引擎推广不仅仅是关键词，链接和内容。SEO的技术部分也很重要。事实上，它可以改变你所有的数据营销活动。因此，请尽快学习和培训如何正确应用和设置robots.txt文件协议。我希望我在这篇文章中描述的实践和建议可以指导你成功地完成这整个过程。