如何进行网站日志分析

一、什么是网站日志

1网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么 *** 作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。

为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——百度蜘蛛：Baispider搜狗：SogouNewsSpider360：360Spider谷歌：Googlebot

二、如何看懂网站日志

（以下为一段日志记录）

58180251134--[25/Mar/2015:13:24:33+0800]"GET/m53256html

index-1s2i2p2""Mozilla/50

(WindowsNT61)AppleWebKit/53736(KHTML,likeGecko)

Chrome/3501916153Safari/53736SE2XMetaSr10""-""-""-"

以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋可以继续深入了解。

大型网站通常可以用以上的方法来进行做日志分析。

普通的个人站点，或者企业网站，则可以通过光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析

先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量

因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。

四、怎么做网站日志分析

定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。

举个栗子：

老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。

分2种情况：

了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO *** 作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶30版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。

分析内在：

在分析内在之前，再次抛出这个公式：Seo流量=抓取量收录率（准确来说应该是索引率）首页率点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释这个概念，方便理解：

1抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

小结一下：

老站如何做网站日志分析（针对中文站点）：外界排除：

了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：

（1）使用工具：百度站长平台（非VIP账户看后文介绍）

（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具

非百度VIP：

步骤：

1下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以log为结尾的便是）

2打开光年日志分析工具，上传网站日志。

3查看分析结果。主要维度有这几个：

（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

你这个问题还真涉及很多问题，从硬件到软件再到各种系统都有，我就试着回答你吧，希望能对你有所帮助。
1单纯就功率计算这个配置应该200W左右。不知你还配置光驱等其它设备。所以这个配置上面两个电源都可以满足要求。但如果考虑稳定性还是尽量大一点好。
2、以上配置算是基本配置，没有什么大问题。只是感觉内存配置小了点，应该在8G或者以上。
3、一个网站，是一个系统性的东西，不是只有强劲的服务器就能解决所能问题的，它涉及到服务器所使用的系统、系统配置，数据库类型与设计，WEB应用程序的开发，以及系统的优化等等。别人不知你的上述情况，只能是一个估计。所以我估计是够用的，带宽应该是10M独享。
4这个问题就更不好估计了，你的网站具体是提供那些内容为主？用户访问你的网站主要做什么？与用户的互动方式等等，所以无法做出估计。

很多站长都会选择自己搭建网站，而网站搭建的前期工作就是要做好网站程序，选好域名和网站服务器。域名和程序好选择，但是选择一款适合自己的网站服务器真心的不容易，特别是对于新手站长来说，今天我们就分享下新手站长应该怎么选择适合自己的网站服务器：
1关注硬件、软件等
1)机房条件：推荐您选择多线路机房，中国电信、联通、教育网等多线接入，这样可以确保您的网站能够在全国范围内能被所有客户快速访问。另外还需要了解的是服务商是单点机房还是多点的云计算机房，通俗些讲就是当服务器租用的整个机房出现问题的时候，是否有替代方案，从确保客户的网站持续能够被访问。
2)底层架构：当前整个互联网已经步入云计算时代，因此在您选择网站服务器的时候建议侧重选择云计算架构的服务器。如何甄别哪首先要查看这家服务上是否具有IDC资格服务证，其次在其官方网站上寻找是否具有：分布式存储、关系型数据库、云引擎等类似的云计算产品或者服务。因为只有具备了云计算架构才能够提供以上类似的服务。
3)访问速度、稳定性：这一点还是要围绕在云计算方面，云计算能够有效解决传统物理主机无法解决的大面积宕机、DDOS攻击(一种高发性攻击，最显著的特点就是让您服务器托管的网站无法访问或者访问速度非常慢)。
2售后服务是否健全
1)724小时免费人工服务：是当前最基本的服务内容。如果光图便宜选择了一些小的虚拟主机服务商，如果出现问题找不到解决人员，将会对您公司网站和业务造成损失。
2)免费的数据备份服务：当前备份服务器托管最健全的莫过于云计算的同步备份。也就是针对您的网站提供每日备份服务，而不是传统物理虚拟主机的一周或者几周备份一次。并且还可以提供按需的恢复服务。
3)免费的网站备案服务：网站建设完毕、网站服务器购买完毕、域名解析完毕后，请您千万不要忘记进行网站备案，而这一步手续是非常繁琐的。但是如果您选择了一家正规的服务商，这一切将变得非常简单，因为有专业的备案服务人员为您提供备案引导服务，帮助您填写、提交备案文件确保网站备案成功。
4)免费的网站备案时间：一般情况下，网站备案大都需要几天的审核时间，一些特殊性质的网站，例如：论坛、电商等需要的时间会更长。

网站运维是一项即广泛又细致的工作。跟服务器在哪没有多大关系，以下就是一些网站运维的方法，希望可以帮到你！

第一项，保持稳定的网站内容更新频率

不仅用户喜欢新鲜的信息，搜索引擎同样也喜欢抓取互联网中的新信息，而且蜘蛛的抓取是有一定频率的，所以网站运维人员在进行网站内容维护工作时，应该有一个稳定的更新觇，并一直保持下去。这是一项非常基础的工作，一定要做好。

第二项，对网站运营状况监视

网站运维人员在更新网站数据的同时还需要对网站的运营状况进行监视，确保企业网站一直处在一个正常州的运行状态中。如对网站的打开速度、网站的程序运行、网站的设计版面等等数据的监视，力争为用户提供一个优质的浏览环境。

第三项、网站运行统计数据分析

任何网站在运行一段时间后都会产生一些必要的数据，而这些数据有很多反馈的是企业网站存在的问题，或是优秀的地方。网站运维人员在进行网站维护工人香就需要对这些数据进行统计和分类，如哪些页面比较收欢迎、哪些页面访问次数最少、访问次数最少的页面是否重要、网站中哪些页面已经不存在等信息。这些信息将会做为网站修改或改版的得要数据依据。

第四项，网站小错误的修复

网站维护人员发现网站运行中出现的一些小错误时，一定要及时的时行修改，如果自己无法修改，一定要及时的提交给技术部分，并督促相应的人员进行及时的修改，避免对企业网站的运营造成影响。如页面打开不、出现404页面等。

第五项，对网站数据进行备份

现在是大数据时代，数据对于任何一个企业一个网站来说都是非常重要的，所以做好数据备份也是网站维护人员必须要做的一项日常工作。此外，经常备份网站数据，还可以防止数据丢失或网站崩溃时不至于造成无法挽回的损失。

第六项，做好网站推广工作

推广是把网站主动推给需要了解你公司产品和信息的人，这样才有接下来的成交。再好的网站也是需要推广的，酒香不怕巷子深的例子不适合用在互联网时代，只有你的广告宣传的范围广，才能为企业网站吸引来更多的用户、如果你不推广不宣传，而你的竞争对手做了很好的推广，那么你的网站将会被甩出十条街去。

第七项，合理按排网站搬家

当企业网站运营过一项时间后，很可能会因为访问量或数据加大等原因，需要为网站更换服务器，这时就需要对网站数据进行般家工作。这是一般中小企业在发展过程中经常会遇到的问题。所以网站维护人员一定要做好数据备份，并在适当的时候开始做网站搬家的准备工作。

做网站是首先就是要选一个好的域名和一个稳定的服务器了。选择我们没错的。
可以根据你的网站数据的大小选择空间或者服务器。
可以根据你的网站有没有备案，选择国内的还是国外的。
可以根据你的网站流量的大小选择10M或者100M或者G口带宽。
可以根据你的网站是否有受到他人的攻击选择带硬防的或者不带硬防的。
希望可以帮到你。

---