请教一下怎样看robot文件

Disallow： 该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以 是部分的，任何以Disallow开头的URL均不会被robot访问到。例如： “Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问， 而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。 任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文 件，则对于所有的搜索引擎robot，该网站都是开放的。

这是robot文件对搜索引擎的一种约束行为；

robots文件的用处：

1、可以快速增加网站权重和访问量；

2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度；

3、为搜索引擎提供一个简洁明了的索引环境。

---