SEO做网站地图时，百度检测网站robots文件出现错误怎么办，网页允许打开

robots文件需要注意两点：1、在“：”符号后面需要空一格。2禁止抓取的文件写法是否在“/”目录下。

你可以在百度站长平台检测一下robots文件，如果文件中出错，系统会提醒你，到时候那出现问题具体新修改哪里就可以了。

如果你的网站收录比较正常的话，建议你不要随意修改robotstxt，这会导致某些搜索程序（如百度）的惩罚！对于一些漫游器来说，这个文件其实就是一个合约来的，你把合约改来改去，漫游器就不太喜欢了！

robotstxt的使用方法和详细解释
robotstxt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robotstxt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robotstxt的使用方法，希望对大家有所帮助。
我们先来认识一下什么是robotstxt？
我理解的是robotstxt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。
下面我们再来熟悉一下怎样使用robotstxt？
首先，我们需要创建一个robotstxt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robotstxt文件。
robotstxt文件内的代码书写规范我们也要注意，其中User-agent:是必须存在的，表示对所有搜索引擎蜘蛛有效。Disallow:是说明不允许索引哪些文件夹

---