黑龙江seo技术教程:「seo教程」第十课，robots.tx

黑龙江seo技术教程:「seo教程」第十课，robots.tx

搜索引擎使用蜘蛛 *** 作程序，在大数据技术中自动访问网页，获取网页信息。蜘蛛访问一个网站时，会先检查网站根域下是否有一个名为robots.txt的文本文件。您可以在您的网站中创建一个文本文件robot.txt，在其中声明机器人拒绝访问的网站部分或特殊搜索引擎仅包含网站的独特部分。

一定要注意，只有当你的网站包含你不期望被搜索引擎网站收录的内容时，你才必须使用robots.txt文件。如果想让搜索引擎网站包含网站上的所有内容，就不要创建robots.txt文件或内容为空的robots.txt文件。

Robots.txt文件格式

该文件包含一个或多个记录，这些记录根据空白线分隔(以CR、CR/NL或NL作为终止符)。每条记录的文件格式如下:“:”。您可以使用#在该文件中添加注释。该文件中的记录通常以一两行User-agent开头，后面是几行DisAllow和Allow。具体如下。DedecmsDreamweavercms网站robots.txt规范

user-agent:*disallow:/plus/ad_js.phpdallow:/plus/advancedsearch.phpdallow:/plus/car.phpdallow:/plus/carbuyaseo教程action.phpdallow:/plus/Shops_bu黑龙江省seo技术示例教程:yaction.phpddisable:/plus/erraddsave.phpddisable:/plus/posttocar.phpddisable:/plus/disdls.phpddisable:/plus/feedback_js.phpdisallow:/

Worepress网站robots.txt规范

用户-黑龙江省seo技术示例教程:代理:*不允许:/WP-admin/不允许:/WP-includes/不允许:/wp-content/plugins不允许:/WP-content/thems不允许:/feedDisallow:/articles/*/feedDisallow:/tag/Disallow:/category/Disallow:/page/Disallow:/*？replytocom=Disallow:/trackback

Robots.txt放置位置

Robots.txt文件应该放在网站的根目录下。例如，当蜘蛛访问一个网站(如http://www.0817seo.com)时，它会首先检查网站中是否存在http://www.0817seo.com/robots.txt文件。如果蜘蛛寻找这个文件，它将根据这个文件的内容建立它对管理员的访问范围。