SEO实战：如何使用Splunk工具分析网站？

SEO实战：如何使用Splunk工具分析网站？

2月6日资讯不久前，海外SEO从业者EliSchwartz分享了很多他应用Splunk的经验。以下是伊莱·施瓦茨(以下简称“我”)分享的工作经验:

每一个对SEO技术感兴趣的站长都期望从更多方面掌握Google百度搜索引擎的网站结构和排名标准。从我多年从事SEO技术科研的经验来看，似乎对web访问系统日志进行详细的分析可以让我更好地了解百度搜索引擎是如何“对待”网站的，而在众多网站数据分析的专用工具中，Splunk无疑是最让人放心的，也是最好用的。

注:Splunk是设备数据信息的模块。它可以用于收集、索引数据库，并使用所有应用软件、网络服务器和机器(物理、虚拟模拟和云)来形成快速移动的电子计算机数据信息。

1。检查URL是否被Google爬虫抓取过(百度爬虫和雅虎爬虫也可以检测)

当网站已经形成了一个新的页面，站长们最关心的就是页面的百度收录问题。如果以快照更新作为索引值，谷歌爬虫抓取后可能需要几天(甚至几周)的时间，所以可以明确是否被百度收录。如果你想快点，可以马上在百度搜索引擎里搜索页面的标题。

最可行的方法是查询网站流量统计，从而知道网页是否被Google爬虫抓取过。是时候采用Splunk了。

*** 作步骤:

1.首先选择要查看的时间范围。时间范围越短，反应时间越快，尽量减少观看的时间差。

2.在查看框中键入以下查看句子:

Index={您的索引名称}url存根和googlebot

例如，如果您的数据库索引名称是“Primary”,URL是“free-trial.html”,请按如下方式查找句子:

指数=主要free-trial.html和谷歌机器人

1.查询系统日志。

2、搜索404页面

404页是一个非常讨厌的项目，98%的客户通常一看到就会马上关闭页面。这样一来，你的网站不仅损害了内容或商品的基本展示，还会默默地给你一个恶意的差评。你:你过会儿会来你的网站吗？顾客:呵呵呵。

对于404页，可以选择应用ScreamingFrog等特殊工具进行搜索恢复。但是，当无效页面总数过大时，就到了你系统分析客观事实的时候了。根据系统日志的分析，可以找到被查看人数最多的404页面，有选择的进行页面还原或者自动跳转。

将Splunk设置为搜索404页:

1.首先选择并找出时差。我通常设置为30天。你可以随意设置。

2.在查看框中键入以下查看句子:

Index={您的索引名称}status=404|toplimit=50uri

总限制可以独立定义，我更喜欢包括50个网址。执行完查看语句后，点击统计选项，找到目录中客户数量最多的404页。

2.搜索页面404

3。搜索设置了302个跳转的页面

与301跳不同，302跳是临时跳。但是在很多连接使用价值测试中，302是可以基于测试的，也是有排名的。但是前段时间很多黑帽SEO都是按照这个技术来排名的，现在很多百度搜索引擎都加大了对它的严厉打击。所以302跳转只用于这些只需要临时自动跳转的页面。

根据Splunk搜索302跳转页面流程:

1.同样，首先要选择搜索时间段，可以根据需要设置。我喜欢把它设置为30天。

2.键入以下内容查看句子:

Index={您的索引名称}status=302|toplimit=50uri

就像搜索页面404一样，可以根据需要进行设置。

3.搜索302跳转页面。

4。统计分析Google百度搜索引擎每天抓取的页面

如果你使用过谷歌管理员专用工具，那么你一定熟悉谷歌的URL显示页面。但是这种数据信息是否准确，你得去查询网站流量统计才能清楚。

应用Splunk查看每天爬网的URL进程:

1.也是时间的选择。我还是喜欢定为30天(如果数据信息比较多，7天可以是企业)。

2.键入以查看句子:

index={您的索引名称}googlebot|按天计时

检查完句子，点击统计选项，就会看到Google爬虫每天抓取的页面数据信息。您也可以点击“可视化”选项来查询转换细节。

4.谷歌爬虫每天抓取页面。

5。统计分析谷歌移动爬虫每天抓取页面

随着移动互联网的发展趋势，搜狗引擎变得越来越重要。如果想知道谷歌手机爬虫每天抓取的网址总数，不能使用谷歌管理员的专用工具。然后，只能根据网页访问系统日志来查询数据信息。

以下面的iPhone为例，使用Splunk查看:

1.也是时间的选择。我还是喜欢定为30天(如果数据信息比较多，7天可以是企业)。

2.键入以下视图句子:

index={您的索引名称}googlebot和iphone|按天计时

句子讲完后，点击统计选项，即可得到所需的数据信息。与PC一样，您也可以点击“可视化”选项来查看详细信息。

5.谷歌移动爬虫每天抓取页面。

6。找到消耗爬虫数量的废页

站长们都知道百度搜索引擎对每个网址的总抓取次数有一定的限制。URL的PR或者权重值不一样，抓取量也不一样。所以，如果抓取了网站中的垃圾页面，那么高质量的页面很可能就失去了被抓取的机会。

不知道谷歌爬虫的抓取方式，就无法知道谷歌抓取配额的使用率。目前有必要应用Splunk进行测试。

流程如下:

1.可以随意选择时间范围，最好选择几个进行对比。

2.键入以下视图句子:

index={您的索引名称}Googleboturi_stem="*"|toplimit=20uri

总量限制可以任意选择，但20是比较好的管理方式。和前面一样，执行完句子后，点击统计选项，就可以在目录中找到你认为应该清除的页面，并在robots.txt文件中将其屏蔽掉。

6.选择要阻止的页面。

7500错误页面

当web服务器无法发出HTTP请求时，将返回500错误页面。很多情况下，500个错误对SEO工作有一定的不利影响。事实上，当500错误危及自然排名时，Google会根据管理者的专用工具将信息内容推送给站长，但这样的信息内容通常需要24小时才能被接受。

除了危及百度的搜索引擎排名，500个错页还会降低网站的客户体验。而带有Splunk专用工具的企业解决方案可以实时监控系统500错误。

流程如下:

1.检索下列观看句子:

index={您的索引名称}和“status=5*”

2.单击“另存为”，然后从下拉列表中选择“提醒”。

3.将其命名为Alert。

4.将警报状态更改为“实时”。

5.点击“下一步”。

6.在下一页，将出现“发送电子邮件”选项。

7.在文本框中键入电子邮件，然后单击“保存”。

7、实时监控系统500页

摘要

Splunk可以用在各种SEO工作中，可以给工作带来很大的便利。如果还没用过的站长们，何不下载试试！