网站访问者不仅是人类，也是搜索引擎的网络抓取工具。了解如何提高网站的搜索精度和排名。
确定网页的URL结构
适应性设计是最受推崇的设计方法。
对独立的桌面版/移动版网站使用rel='canonical'+rel='alternate'。
对动态提供独立桌面版/移动版HTML的单个URL使用VaryHTTP头。
对您希望保密的页面使用相关的身份验证机制。
向搜索引擎提供你的网站结构
你的网站如何出现在搜索结果中对多设备网站设计意义重大，本指南将帮助你根据网站的URL结构优化网站。
你计划建立一个自适应网页吗？您是否为移动设备提供了带有单独URL的特殊版本？你从同一个网址提供桌面版和移动版吗？无论哪种情况，你都可以在你的网站上做进一步的搜索引擎优化。
指定网站的URL结构
有多种方式向不同的设备提供内容。以下是三种最常见的方法:
自适应Web设计:从URL提供相同的HTML，并使用CSSmediaquery来确定内容如何在客户端呈现。例如，桌面版和移动版URL:http://www.simcf.cc/
独立版网站:根据用户代理将用户重定向到不同的URL，例如，桌面版URL:http://www.simcf.cc/移动版URL:http://m.simcf.cc/.
动态供应:根据用户代理从一个URL提供不同的HTML。例如，桌面版和移动版URL:http://www.simcf.cc/
虽然很多网站采用其他方法，但最好的方法还是使用适应性网页设计。
确定哪种URL结构适合您的网页，然后尝试根据相应的最佳实践进行优化。
我们建议采用适应性网页设计。
使网站采用适应性设计的优点如下:
更方便用户分享。
网页加载速度更快，无需重定向。
单一搜索结果URL。
可以通过自适应网页设计的基础知识，学习如何用自适应网页设计搭建网站。
当提供独立的URL时，使用link[rel=canonical]和link[rel=alternate]。
如果在桌面版和移动版上使用不同的URL来提供相似的内容，可能会对用户和搜索引擎造成混淆，因为浏览者不容易发现它们旨在拥有完全相同的内容。您应该指出:
这两个网站的内容完全一样。
哪个是手机版的。
哪一个是桌面(标准)版。
这些信息有助于搜索引擎优化索引内容，并确保用户找到的目标内容的格式适合他们使用的设备。
使用桌面版本的替代版本
在提供桌面版本时，可以通过添加一个带有rel="alternate"属性的link标签，在href属性中指向移动版本，来指示存在一个带有另一个URL的移动版本。
http://www.simcf.cc/HTML
<title>…<；/title>；
<；linkrel="alternate"media="onlyscreenand(max-width:640px)"href="http://m.simcf.cc/">
使用canonicalformobile版本
在提供移动版本时，可以通过添加一个带有rel="canonical"属性的link标签来指示存在带有其他URL的桌面(canonical)版本，该标签在href属性中指向桌面版本。通过添加值为“onlyscreenand(max-width:640px)”的媒体属性，搜索引擎可以知道移动版肯定适合更小的屏幕。
http://m.simcf.cc/HTML
<title>…<；/title>；
<；linkrel="canonical"href="http://www.simcf.cc/">
使用不同的HTTP头
根据设备类型提供不同的HTML可以减少不必要的重定向，提供优化的HTML并为搜索引擎提供单一的URL，但它也有几个缺点:
用户的浏览器和服务器之间可能有一个中间代理，除非代理知道内容随着用户代理而变化，否则它提供的结果可能是意想不到的。
根据用户代理的说法，更改内容会有被视为“屏蔽”的风险，这违反了谷歌和百度站长的准则。
通过让搜索引擎知道内容随着用户代理而变化，它们可以为发送查询的用户代理优化搜索结果。
为了表明URL根据用户代理提供不同的HTML，请在HTTP头中提供Vary:User-Agent。这样搜索索引可以区别对待桌面和移动版本，中间代理可以适当缓存这些内容。
http://www.simcf.cc/HTTP标头
HTTP/1.1200OK
Content-Type:text/html
Vary:User-Agent
Content-Length:5710
控制搜索引擎的搜索和索引 *** 作
在搜索引擎中正确列出网站对其推广至关重要，但糟糕的配置可能会导致结果中出现意想不到的内容。本节通过解释爬虫工具的工作和网站索引的原理，帮助你避免这样的问题。
没有比互联网更好的分享信息的地方了。当你发布一个文档，全世界都可以立即得到它。知道网址的人都能看到网页，这就是搜索引擎的作用。他们必须能够找到你的网站。
然而，在某些情况下，虽然你希望人们访问你的网站，但你不希望他们找到这些文档。比如博客的管理员页面，只有特定的人才能访问，人们通过搜索引擎找到这些页面是没有好处的。
本节还解释了如何阻止某些页面出现在搜索结果中。
“抓取”和“索引”的区别
在你知道如何控制搜索结果之前，你需要知道搜索引擎如何与你的网页交互。从网站的角度来看，搜索引擎对网站进行的 *** 作主要有两种:抓取和索引。
爬行指的是搜索引擎自动获取网页并分析其内容的程序。这些内容存储在搜索引擎的数据库中，可以用来填充搜索结果的细节，对网页进行排名，并通过逐层的深度链接发现新的网页。
索引是指搜索引擎将网站URL和任何相关信息存储在其数据库中，以便随时作为搜索结果。
注意:许多人混淆了爬行和索引。禁止抓取并不意味着网页会出现在搜索结果中。例如，如果一个第三方网站有一个链接指向您的某个网页，即使禁止爬行，它仍然可以被编入索引。在这种情况下，搜索结果将缺乏详细的描述。
使用robots.txt控制抓取
您可以使用名为robots.txt的文本文件来控制良性爬行工具获取网页的方式。Robots.txt是一个简单的文本文件，用来解释你希望自动搜索程序如何抓取你的网站。(并不是所有的抓取工具都会一直遵守robots.txt，预计会有人自己创建不当的抓取工具。)
将robots.txt放在网站主机的根目录下。例如，如果网站主机是http://www.simcf.cc/,，robots.txt文件应该位于http://www.simcf.cc/robots.txt.。如果域名具有不同的架构、子域或其他端口，则视为不同的主机，robots.txt应该放在每个主机的根目录中。
下面是一个简短的例子:
http://www.simcf.cc/robots.txt
user-agent:*
disallow:/
这意味着您希望禁止所有自动程序对您的整个网站进行爬网。
这是另一个例子:
http://www.simcf.cc/robots.txt
User-Agent:Googlebot
disallow:/nogooglebot/
您可以通过指定用户代理的名称来指定每个自动程序(用户代理)的行为。在上面的例子中，你禁止名为googlebot的用户代理抓取/noGooglebot/以及这个目录中的所有内容。
你只需要在你想控制如何抓取网站的时候使用robots.txt。请不要返回URL/robots.txt的响应代码500。这将停止整个主机的所有后续爬网，导致搜索结果详细信息不包含任何内容。
使用元标记来控制搜索索引
如果你不想网页出现在搜索结果中，Robots.txt不是解决方案。您需要允许这些网页被抓取，并明确指出您不希望它们被索引。有两种解决方案:
要表明您不想索引HTML页面，请使用特定类型的；标记并将其属性设置为name="robots"和content="noindex"。
<！DOCTYPEhtml>
<；html><head>
<；metaname="robots"content="noindex"/>。
您可以通过将name属性的值更改为特定的用户代理名称来缩小范围。例如，name="Googlebot"(不区分大小写)表示您不希望Googlebot对该网页进行索引。
<！DOCTYPEhtml>
<；html><head>
<；metaname="Googlebot"content="noindex"/>。
为了表明您不想索引图像、样式表或脚本文件等资源，请在HTTP头中添加X-Robots-Tag:noindex。
HTTP/1.1200OK
X-Robots-Tag:noindex
Content-Type:text/html；Charset=UTF-8
如果要将范围缩小到特定的用户代理，请在noindex之前插入用户代理名称。
超文本传送协议
/1.1200OK
X-Robots-Tag:Googlebot:noindex
Content-Type:text/html；Charset=UTF-8
如果你用robots.txt禁止抓取，因为你不知道你不想索引这些网页，自动搜索程序可能还是会索引。这是可能的，因为:
自动搜索程序可能会跟随其他网站上的链接找到您的网页。
不能抓取的搜索引擎无法检测noindex。
别指望robots.txt能控制搜索索引。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）