怎样解决robots.txt文件存在的限制指令

怎样解决robots.txt文件存在的限制指令,第1张

由于该网站的robots.txt文件存在限制指令的解决办法

1.

找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;

2.

下面一步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,主动对搜索引擎示好,快照更新过来之后,现象就会消失了。

意思是说你的这个文件限制了搜索引擎访问你的那个文件或者限制了访问你的网站,就是你写了条件不要搜索引擎访问你的那个页面或者那个文件,搜索引擎是会被你的这个文件里的内容所限制的。希望我的回答能帮到你 。龙术SEO


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/11910163.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-19
下一篇 2023-05-19

发表评论

登录后才能评论

评论列表(0条)

保存