允许蜘蛛抓取，robots应该怎么写？

写法如下，代表所有搜索引擎；空代表所有（为什么要允许访问所有文件呢？第一你的很多页面可以体现关键词，增加蜘蛛停留时长，每次来都要访问一遍，另外要保证你的文章更新频率一致，且天天更新，要不然蜘蛛来几次没新东西就会放慢来周期）
User-agent:
Disallow:

下面是我的robots文件的设置

User-agent:

Disallow: /include

Disallow: /member

Disallow: /plus

Disallow: /templets

Disallow: /data

Disallow: /uploads

Disallow: /images

Disallow: /404html

Allow: /plus/searchphp

Disallow: /include

Disallow: /js

Disallow: /st8/

这是我登录后台系统文件名，大家也应该以我这种形式书写，要不就暴露了你的后台文件名了，不安全。

上半部分是dede后台系统文件，这些文件我们应该让他禁止蜘蛛抓取，这样有利于我们的优化及减少服务器的负担。

下半部分是我网站用搜外6系统写的。

robots是指随着自变量的变化，因变量的方差也发生变化的情况，是通过加权最小二乘法、广义线性模型的方法对异方差进行纠正的。
1、加权最小二乘法：该方法的基本思想是对不同的样本赋予不同的权重，使得方差较小的数据点具有更大的权重，方差较大的数据点具有较小的权重，加权的方法可以通过样本的条件方差来计算，从而使得模型更加准确地拟合数据，提高预测准确性。
2、广义线性模型：该方法是一种更加广泛的线性回归模型，可以处理不同方差的数据，GLM通过引入一种称为“链接函数”的技术来将数据的方差与预测变量联系起来，从而可以更加准确地描述数据的分布情况，并对数据进行建模，在GLM中，可以使用不同的链接函数来适应不同的数据分布，例如对于高斯分布的数据，可以使用标准的线性链接函数。对于二项分布的数据，可以使用logit链接函数等。

您可以在任何文本编辑器中创建此文件。
该文件应为 ASCII 编码的文本文件，而非 HTML 文件。
文件名应使用小写字母。语法 最简单的 robotstxt 文件使用两条规则：User-Agent: 适用下列规则的漫游器Disallow: 要拦截的网页这两行被视为文件中的一

网络蜘蛛进入一个网站，一般会访问一个特殊的文本文件Robotstxt，这个文件一般放在网站服务器的根目录下。网站管理员可以通过robotstxt来定义哪些目录网络蜘蛛不能访问，或者哪些目录对于某些特定的网络蜘蛛不能访问。例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到，那么网站管理员就可以把这些目录定义为拒绝访问目录。Robotstxt语法很简单，例如如果对目录没有任何限制，可以用以下两行来描述：
User-agent:
Disallow
当然，Robotstxt只是一个协议，如果网络蜘蛛的设计者不遵循这个协议，网站管理员也无法阻止网络蜘蛛对于某些页面的访问，但一般的网络蜘蛛都会遵循这些协议，而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些网页的抓取。

您可以在任何文本编辑器中创建此文件。该文件应为 ASCII 编码的文本文件，而非 HTML 文件。文件名应使用小写字母。语法 最简单的 robotstxt 文件使用两条规则：User-Agent: 适用下列规则的漫游器Disallow: 要拦截的网页这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个 Disallow 行和多个 User-Agent。应在User-Agent 行中列出什么内容？ user-agent 是特定的搜索引擎漫游器。网络漫游器数据库列出了许多常用漫游器。您可设置应用于特定漫游器的条目（通过列示名称）或设置为应用于所有漫游器（通过列示星号）。应用于所有漫游器的条目应与下列条目类似：User-Agent:Google 使用多种不同漫游器（用户代理）。用于网络搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-Image 等其他漫游器遵循您为 Googlebot 设置的规则，您还可为这些特定漫游器设置附加规则。应在Disallow 行中列出什么内容？ Disallow 行列出了您要拦截的网页。您可列出具体网址或网址模式。条目应以正斜杠开头 (/) 开头。要拦截整个网站，请使用正斜扛。Disallow:/要拦截目录及其中的所有内容，请在目录名后添加正斜扛。Disallow:/private_directory/要拦截网页，请列出该网页。Disallow:/private_filehtml网址区分大小写。

robotstxt是搜索引擎会让网站的协议文件。告诉蜘蛛哪个能抓哪个不能抓。至于使用是将该文件传到网站的根目录就可以。搜索引擎在访问网站时会先找到这个，之后读取你能抓和不能抓的页面

---