最近，我帮助客户删除了他们网站上的旧联系方式。他们并没有打算公开，也没有意识到，直到百度索引那些页面。
虽然这不会立即取消百度的索引，但它让我想起了为什么有人想在造成任何损害之前阻止搜索引擎索引页面。
阻止百度对网页编制索引的3个理由虽然你可能想知道如何阻止百度对网页进行索引的原因很少，但这里有一些营销原因。
1.改善您的跟踪和目标归因对于许多网站管理员和营销人员来说，表单完成的目标是通过访问“感谢”页面来跟踪的。为了防止感谢页面意外收到自然流量，你需要知道如何防止百度完全索引页面。
如果你的网页上除了填表的用户还有自然的流量落地，那么你的目标和目标转化率是不准确的。
2.减少没有用户价值的页面虽然这是一个过于简化的模型，但你几乎可以想象你的网站具有SEO价值。
对于一个10页的网站来说，每一页大概是SEO值的十分之一。如果网站所有者已经学会了如何做关键词研究，并优化了所有的页面，那么所有这些页面将高效和有效地产生有机流量。
相反，想象一个有100页的网站。实际上有四页与商业服务相关，其他96页是“博客帖子”，实际上只是所有者在他们的网站上倾倒信息。这些页面不符合已知受众的需求，也没有针对任何相关关键词组进行优化。
在我们的简化模型中，SEO价值池很薄。四个服务页面中的每一个都获得了网站聚合SEO值的1/100，即使它们在优化方面相对较弱。其他96个页面正在接收96/100的值，但它们是陷入困境的死胡同，浪费了您网站的排名潜力。
学习如何防止搜索引擎索引页面(或96)是一个很好的方法来保持您的网站的SEO值过于分散。你可以在搜索引擎中隐藏大部分网站，让百度只知道应该找到的有用的、相关的网页。
3.避免重复内容问题在互联网上发布与另一个页面相同或几乎相同的页面可能会导致一些不必要的决策。
哪一页是原创？即使其中一个页面首先发布，重复的页面是否遵循更权威的来源？如果两个页面都在你的网站上，你打算把哪个页面纳入百度的搜索结果？你可能不总是喜欢这个结果。
为了避免导致重复内容问题，您可以尝试阻止漫游者抓取您网站上的某些网页。
如何防止百度索引页面防止搜索引擎索引页面的最简单和最常用的方法是包含metanoindex标签。
包括Noindex标签noindexmeta标记用于
阻止搜索引擎索引页面的noindex标记如下:
<metaname="robots"content="noindex">；
如果只是担心阻止百度对网页进行索引，可以使用以下代码:
<metaname="Baiduspider"content="noindex">。
如果你使用WordPress作为你的CMS(我强烈推荐)，那么你可能想要使用YoastSEO插件(我也强烈推荐)。只需点击几下鼠标，您就可以将noindex标签添加到您想要的任何页面。
在任何页面的后端，向下滚动到你的YoastSEO框。然后点击齿轮图标，更改“允许搜索引擎在搜索结果中显示这篇文章？”下拉字段，并说“否”。
这不是一个指令，所以搜索引擎可以选择忽略你的metanoindex标签。对于更健壮的技术，可以使用robots.txt文件。
在你的Robots.txt中禁止机器人如果你想确保Googlebot、Baiduspider之类的机器人根本无法抓取你的网页，可以在robots.txt文件中添加指令。
Robots.txt是在Apache服务器的根目录中找到的文件。它可以禁止一些机器人先进入你的页面。需要注意的是，一些机器人可以被指示忽略您的robots.txt文件，因此您实际上只能使用该技术来阻止“好”机器人。
要禁止所有机器人访问此页面，可以在robots.txt中使用以下代码:
用户代理:*
不允许:/example-page/
请注意，您不必使用完整的网址，只需在域名后面加上URI即可。如果您只想阻止Baiduspider爬取此网页，可以使用以下代码:
用户代理:Baiduspider
不允许:/example-page/
使用.htaccess阻止机器人抓取您的网站就我个人而言，我不知道有哪些客户需要使用它，但是您可以使用。htaccess文件，以防止任何用户代理爬你的网站。
这是一种彻底阻止Baiduspider抓取你的网站的方法，即使是“坏”的机器人也无法忽视。需要注意的是，这更像是一个全面的解决方案，针对特定页面的目标更少。对于管理。htaccess文件拒绝访问。
阻止Baiduspider的代码如下:
RewriteEngineOn RewriteCond％{HTTP_USER_AGENT}Baiduspider[NC] RewriteRule。* - [F，L]如果你想一次阻止几个机器人，你可以这样设置代码:
RewriteEngineOn RewriteCond％{HTTP_USER_AGENT}^。*（Googlebot|Bingbot|Baiduspider）。*$[NC] RewriteRule。* - [F，L]有时需要学习如何防止搜索引擎索引你的某个页面，根据你选择的方式，这并不是很难。
相关文章推荐欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）