【谷歌seo学习】利用服务器日志分析seo

【谷歌seo学习】利用服务器日志分析seo

本文将教你如何使用网站服务器日志作为SEO分析工具，更好地理解搜索引擎机器人与网站的交互。在本文中，我们将只关注谷歌的Googlebot和Googlebot智能手机。所以，从现在开始，每当你提到机器人，你指的就是谷歌。(本教程适用于百度)

还值得注意的是，服务器日志通常包含其他交互数据，但我们在这里只处理搜索引擎机器人流量。

什么是服务器日志文件？

简而言之，服务器日志文件是服务器自动生成的记录，它列出了搜索引擎机器人与其中包含的页面/资源之间的每一次交互。简而言之，每次漫游器请求服务器上的页面时，都会创建一个日志条目，其中显示了各种数据点，例如:

*警告:行话区*

请求了哪些页面或资源？

需要什么样的资源？(HTML，JavaScript等。)

用什么方法？(获取或发布)

这个请求什么时候出现？

请求的响应代码是什么？(200、301、404、500等。)

还有最重要的数据点……*drumroll*……是哪个搜索引擎机器人提出的请求，有多少个请求！(Googlebot，Googlebot智能手机，Bingbot，百度等。)

为什么机器人抓取如此重要？

能够一眼就确定机器人在一段时间内请求了哪些页面，使我们能够识别潜在的“问题”页面。

什么是“问题”页面？

我将这些页面定义为在特定时间框架内(至少一个月或三个月)机器人请求很少的页面。对于测量，假设任何一个月内有10个或更少漫游请求的页面都是潜在的“问题”页面。由于这是一个可扩展的规模，请放心从这个数字开始，根据网站规模继续进入列表(例如，小于10，小于30，小于50等。).

机器人流量低的原因有哪些？

位于网站导航深处，机器人到达平均需要更长时间。

跨多个页面的内容是稀疏或重复的，这使得浏览者在请求页面时不那么紧迫或重要。

该页面不包含在XML站点地图中，这导致漫游者只能通过自然爬行来搜索。

缺少页面的内部/外部链接，这使得机器人找到它们的方法少得多。

技术问题，如格式不正确的robots.txt文件，使僵尸程序无法爬取网站上的某些区域。

机器人流量低有什么影响？

页面根本不会被选取和索引。

如果在索引页面上更新了页面内容，则检索和索引刷新的内容可能需要更长的时间，这意味着网站的访问者可能会看到过时的内容。

话虽如此，但需要注意的是，漫游者流量低的页面并不总能吸引人们的注意力。这只是一个帮助识别潜在问题页面的晴雨表，并不能保证实际上有任何错误。

网站大小如何影响机器人爬行？

大型——如果一个大型网站包含超过1000个页面，机器人可能会遇到一个问题，即它通过自然的爬行进度不断到达更深的页面。这些可能是将与日志文件一起审查以确定重要性和优先级的页面。

中小型网站——对于中型网站和小型网站来说，大约只有不到500个页面，所以漫游者应该可以毫无问题地抓取大多数页面。在这种情况下，您可能正在审核日志文件，以查找逻辑上应该更频繁地进行爬网的页面。

利用服务器日志分析seo

1。访问网站的服务器日志

在获得对站点日志文件的访问权并对其进行解析之后，开始审计潜在的“问题”页面。(在这个具体的演练中，我将使用尖叫青蛙的日志分析器工具)

就最佳实践而言，需要审查至少一个月的数据，以准确描绘网站上机器人活动的状态。要分析的数据量实际上取决于网站的大小。页面越多，“事件”就越多，实际上会拖慢导入速度。

2。验证机器人

开始导入过程后，会出现一个框，询问您是否要在导入过程中“验证”机器人。这个过程实质上包括对每个向服务器发出请求以识别假冒机器人的漫游者的IP地址执行反向DNS查找。(当然，您也可以使用nslookup命令来识别IP)

3。筛选和过滤

导入要分析的日志文件数据量后，可以自己调整视图结构。请注意下面提到的两个Googlebot专栏，我们将在后面重点介绍。

接下来，导出数据以进行更好的过滤和处理。找到“行”列上方左侧的导出按钮。

4。审计数据

数据导出到Excel电子表格后，可以通过Googlebot和Googlebot智能手机进行筛选。将具有最多请求的页面过滤到具有最少数量的页面将隔离潜在的“问题”页面。

如下图，网站上有很多页面。在一个月的时间里，他们只收到了一个Googlebot请求！这可能是一个问题，但我们需要进一步调查。

在编译完要分析的页面列表后，是时候重温一下之前关于机器人流量低的可能原因的部分了。

结论

服务器日志文件为我们提供了搜索引擎机器人如何与特定网站进行交互的视图，为进一步的seo优化提供了必要的信息，从而更好地理解机器人为什么会忽略网站上的某些页面，以及如何进行优化。