如何进行网站日志分析

一、什么是网站日志

1网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么 *** 作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。

为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——百度蜘蛛：Baispider搜狗：SogouNewsSpider360：360Spider谷歌：Googlebot

二、如何看懂网站日志

（以下为一段日志记录）

58180251134--[25/Mar/2015:13:24:33+0800]"GET/m53256html

index-1s2i2p2""Mozilla/50

(WindowsNT61)AppleWebKit/53736(KHTML,likeGecko)

Chrome/3501916153Safari/53736SE2XMetaSr10""-""-""-"

以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋可以继续深入了解。

大型网站通常可以用以上的方法来进行做日志分析。

普通的个人站点，或者企业网站，则可以通过光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析

先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量

因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。

四、怎么做网站日志分析

定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。

举个栗子：

老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。

分2种情况：

了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO *** 作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶30版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。

分析内在：

在分析内在之前，再次抛出这个公式：Seo流量=抓取量收录率（准确来说应该是索引率）首页率点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释这个概念，方便理解：

1抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

小结一下：

老站如何做网站日志分析（针对中文站点）：外界排除：

了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：

（1）使用工具：百度站长平台（非VIP账户看后文介绍）

（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具

非百度VIP：

步骤：

1下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以log为结尾的便是）

2打开光年日志分析工具，上传网站日志。

3查看分析结果。主要维度有这几个：

（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

这篇演示如何通过syslog将Linux和Unix的日志发送到指定的日志审计服务器中。

假设日志服务器IP为：192168100100，需要发送入职的服务器与这台日志服务器之间，路由可达，并有访问权限，请看下面的实例：

服务重启后，就能够在日志服务器上查看到对应的日志输出了，不需要其他多余的配置。

假设日志服务器IP为：192168100100，需要发送入职的服务器与这台日志服务器之间，路由可达，并有访问权限，请看下面的实例：

1、开始－－管理工具－－事件查看器2、在远程客户端，运行IE浏览器，在地址栏中输入“>市面上的路由器品牌很多。以飞鱼星路由器为例进行说明：
具体配置步骤：
（1）开启系统日志服务器功能
点开《路由器的系统状态》系统日志，启用“系统日志服务器”，并启用“日志服务器”，输入对应日志服务器的IP地址。
启用系统日志服务，便可在《路由器的系统状态》系统日志中查看路由器的常见系统更改。
以内网19216813的计算机作为日志服务器，则需要在这台计算机上安装VE日志分析软件，之后便可在此PC机上看见内网用户所浏览网址。
（2）安装数据库
下载MYSQL数据库，官方下载地址：>FTP简介
FTP的全称是File Transfer Protocol(文件传输协议)。顾名思义，就是专门用来传输文件的协议。而FTP服务器，则是在互联网上提供存储空间的计算机，它们依照FTP协议提供服务。当它们运行时，用户就可以连接到服务器上下载文件，也可以将自己的文件上传到FTP服务器中。因此，FTP的存在，大大方便了网友之间远程交换文件资料的需要，充分体现了互联网资源共享的精神。现在许多朋友都已经用上了宽带网，而且硬盘也有足够的空间，完全可以通过软件手段把自己的电脑变为一台FTP服务器，和网络中的朋友们一起分享大家各自收藏的好东东！
用Serv－U架设个人FTP
架设FTP服务器，其实并没有技术难度，只需用Serv-U这个软件就可轻松搞定了。Serv-U支持所有版本的Windows *** 作系统，可以设定多个FTP服务器，可以限定登录用户的权限、登录目录及服务器空间大小，功能非常完善。以下笔者就以Serv-U汉化版为例，给大家讲讲架设个人FTP的具体步骤。
首先下载安装Serv-U，运行，将出现“设置向导”窗口，我们就来跟随着这个向导的指引，一步步进行 *** 作。
1 设置Serv－U的IP地址与域名
一路单击“下一步”跳过系统提示信息，来到“您的IP地址”窗口（如图1），这里要求输入本机的IP地址。
图1 输入你的IP地址
如果你的电脑有固定的IP地址，那就直接输入；如果你只有动态IP（例如拨号用户），那该处请留空，Serv-U在运行时会自动确定你的IP地址。
下一步，进行“域名”设定。这个域名只是用来标识该FTP域，没有特殊的含义，比如笔者输入“ftpwxxi520com”。
接下来的“系统服务”选项必须选“是”，这样当你的电脑一启动，服务器也会跟着开始运行。
2设置匿名登录
匿名访问就是允许用户以Anonymous为用户名，无需特定密码即可连接服务器并拷贝文件。如果你不想让陌生人随意进入你的FTP服务器，或想成立VIP会员区，就应该在“匿名账号”窗口中选“否”，这样就只有经过你许可的用户才能登录该FTP。鉴于匿名登录尚有一定的实用需求，笔者在此选“是”（如图2）。
图2 允许匿名登录
之后就要为匿名账户指定FTP上传或下载的主目录，这是匿名用户登录到你的FTP服务器后看到的目录。设定后，向导还会继续询问你是否将匿名用户锁定于此目录中，从安全的角度考虑，建议选“是”。这样匿名登录的用户将只能访问你指定的主目录及以下的各级子目录，而不能访问上级目录，便于保证硬盘上其他文件的安全。
3创建新账户
除了匿名用户，我们一般还需要建立有密码的专用账号，也就是说可以让指定用户以专门的账号和密码访问你的服务器，这样做适用于实行会员制下载或只让好友访问。在“命名的账号”窗口中将“创建命名的账号吗”选为“是”，进入“账号名称”设置，填入你制定的账号名称，而后在“账号密码”窗口输入该账号的密码。
单击“下一步”，会要求你指定FTP主目录，并询问是否将用户锁定于主目录中，选“是”，作用与匿名账户设定基本相同，不再赘述。
紧接着要设置该账户的远程管理员权限，分为“无权限”、“组管理员”、“域管理员”、“只读管理员”和“系统管理员”五种选项，每项的权限各不相同，可根据具体情况进行选择。
至此，我们已拥有了一个域——ftpwxxi520com及两个用户——Anonymous和wxxi520。点击“完成”退出向导，稍等片刻Serv-U软件主界面将自动d出，我们还要在此进行一些管理员设置。
4管理员设置
图3为Serv-U管理员界面，每个Serv-U引擎都能用来运行多个虚拟的FTP服务器，而虚拟的FTP服务器就称为“域”。
图3 Serv-U管理员界面
对FTP服务器来说，建立多个域是非常有用的，每个域都有各自的用户、组和相关的设置。以下笔者就简要说说管理器界面上必要的各项设置。
★ 首先点击窗体左方的“本地服务器”，勾选右边的“自动开始（系统服务）”。
★ 选择左方的“域→活动”，这里记载了该域下所有用户的活动情况，是非常重要的监控数据。
★ “域→组”：在此可自建一些用户组，把各类用户归到相应的组中，便于管理。
★ “域→用户”：这里有我们刚建立的两个账号，其中的细节设置十分重要，具体如下。
账号：如果有用户违反FTP的规定，你可以点击此处的“禁用账号”，让该用户在一段时间内被禁止登录。另外此处的“锁定用户于主目录”一定要勾选，否则你硬盘的绝对地址将暴露。
常规：根据自身的实际需要，在此设置最大的下载和上传速度、登录到本服务器的最大用户数、同一IP的登录线程数等。
IP访问：你可以在此拒绝某个讨厌的IP访问你的FTP服务器，只要在“编辑规则”处填上某个IP地址，以后该IP的访问将会全部被拦下。
配额：勾选“启用磁盘配额”，在此为每位FTP用户设置硬盘空间。点击“计算当前”，可知当前的所有已用空间大小，在“最大”一栏中设定最大的空间值。
最后，请在有改动内容的标签卡上点击右键，选择“应用”，如此才能使设置生效！
好了！现在，一个简单的个人FTP服务器就已经完整地呈现在你面前了。不过这时还要测试一下能否成功地下载和上传。
下载和上传
要使用FTP服务器下载和上传，就要用到FTP的客户端软件。常用的FTP客户端软件有CuteFTP、FlashFXP、FTP Explorer等等。对于它们的具体使用，这里就不细讲了。基本上只要在这些软件的“主机名”处中填入你庙宇的FTP服务器IP地址，而后依次填入用户名，密码和端口（一般为21），点击连接，只要能看到你设定的主目录并成功实现文件的下载和上传，就说明这个用Serv-U建立起来的FTP服务器能正常使用了！

首先检查 apache志文件看面说志通/var/log/apache2 或者 /var/log/>