为什么要设置禁止收录机制,如何禁止收录

为什么要设置禁止收录机制,如何禁止收录

为什么要设置禁止包容制度，如何禁止包容？搜索引擎搜索引擎蜘蛛再次在互联网技术上爬行。如果我们网站不禁止搜索引擎销售的话，会非常容易被搜索引擎销售。那我们就来说说如何禁止搜索引擎列出网站内容。

为什么要设置禁入系统

在某些情况下，站长并不期望某些页面被抓取和收录，比如付费内容、产品测试页面、复制内容页面等。网站上没有连接，或者JavaScript、Flash连接、nofollow等方法的应用不能保证页面不容易被收录。虽然站长本人并没有连接到自己不希望被收录的页面，但是其他网站很可能因为各种原因导入连接，导致页面被收录。

为了确保页面不被包括，机器人文件或元机器人标志必须适用。

如何禁止包容

创建一个名为“robots”的新文本文档。robots文件是搜索引擎和网站之间的协议。

设置搜索引擎和网站之间的协议。用户代理:*表示与所有搜索引擎的协议可用；Disallow:/表示禁止爬网并包括整个网站。

如果只是禁止某个搜索引擎抓取被收录网站的某个文件目录，比如禁止百度抓取金枝的文件目录，那么如图设置。

文档保存后，将文件上传到web服务器网站的根目录，意味着搜索引擎与网站之间的协议生效，可以禁止搜索引擎抓取被收录网站的内容。

除了设置robots协议，还可以在网页的源代码中设置。在网页中间添加代码。说明所有搜索引擎都可以抓取网站，显示信息的快照更新。

如果禁止某个搜索引擎抓取，在网页中间加一个代码，表示禁止百度搜索抓取和谷歌抓取。其他搜索引擎也有同样的基本原理。