优化使用方法

robots.txt之robots优化设置指南

1。你知道robots.txt的中文意思吗？
2.你知道404页应该被屏蔽吗？
3.你的企业网站每一页都有“关于我”吗，一定要屏蔽吗？
4.你知道设置robots.txt有利于提高网站整体权重吗？
5.想了解robots.txt的基础写作吗？6.robots.txt应该怎么写才能推广的最好？
1.robots.txt的中文翻译是:关于搜索引擎公示的约定。当一个搜索引擎去你的网站时，它首先读取robots.txt，然后根据书面协议抓取你的网页。
2.每个网站应该有404页。如果没有，会造成1)网站PV减少2)总流量减少3)搜索引擎对你的网站不好，因为你的网站客户体验不是很好。
每个网站都有很多不正确的页面，每个不正确的页面都应该是404页面，所以每个404页面都是一样的。一旦你有太多的404页面，如果你想让搜索引擎收录到百度，就会导致网站把权重分成这样的404页面。值得吗？所以大家一定要屏蔽404页。
3.在企业网站的导航栏上，通常会出现“网钱博客详细介绍”、“联系九月”、“关于我”等页面。这种页面可以说是展示了全站的信息。基本上网站的每个页面都要加权到这种页面，但是这种页面是不是很值得网站加权到他呢？所以也要屏蔽这种“不重要内容”的页面，禁止搜索引擎抓取。
4.从3.4点我们可以得到一个结果:如果一个网站有太多不相关的页面被百度收录，但是你不希望客户从搜索引擎立即进入这类页面，那么网站会把权重分配给这类“无价值”的页面，从而降低网站整体的权重。
一言以蔽之，网站被这种废页所困扰。
5.robots.txt的基本编写
在桌面上创建一个名为robots.txt的文档
按顺序写出以下几点:
用户代理:*
disallow:/WP-admin/
disallow:/WP-content/
disallow。feed
disallow:/comments/feed
disallow:/trackback
disallow:/guestbook
user-agent:#表示允许的搜索引擎。*表示允许所有。如果只允许百度爬虫，写baiduspider
Disallow:#表示禁止百度收录
Disallow:/#表示禁止百度收录全部。立即禁止:在它后面加一条斜线。
Disallow:/网站后台管理文件目录/#block目录格式
Disallow:/404.html#block404页面中的所有空大小写字符和换行
robots.txt被忽略。Robots.txt只看指令顺序，空大小写和自动换行都是为了方便大家。6.Robots.txt怎么写，才能推广最好？
看了前面五点，相信你对如何提高应该有了非常好的认识。
1)屏蔽网站上不起作用的垃圾页面，比如404
2)考虑一下。虽然你的页面必须出现，但是你觉得客户没有必要“从搜索引擎上回头看”。比如福州SEO的《关于我》。那你就不需要被百度收录了。
网上赚钱的方法——九月博客原创文章内容，转载请注明出处并保存全文链接。