如何搭建日志监控系统_运维日志监控系统

ELK(,Logstash,Kibana)搭建实时日志分析平台（开源实时日志分析ELK平台部署）

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由、Logstash和Kiabana三个开源工具组成。官方网站：

85是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

85Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

85kibana也是一个开源和免费的工具，他Kibana可以为Logstash和提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。工作原理如下所示：

在需要收集日志的所有服务上部署logstash，作为logstashagent（logstashshipper）用于监控并过滤收集日志，将过滤后的内容发送到logstashindexer，logstashindexer将日志收集在一起交给全文搜索服务，可以用进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

四大组件：

Logstash:logstashserver端用来搜集日志；

:存储各类日志；

Kibana:web化接口用作查寻和可视化日志；

LogstashForwarder:logstashclient端用来通过lumberjack网络协议发送日志到logstashserver；

/var/cluster/logs/commandlog ASCII 文本文件包含在群集中执行的选定 Sun Cluster 命令的记录。一旦设置群集，系统会自动启动对命令的日志记录，并在您关闭群集时结束。在所有已启动并以群集模式引导的节点上，系统都会记录命令。
不在该文件中记录的命令包括那些显示群集配置和当前状态的命令。
在该文件中记录的命令包括那些配置和更改群集当前状态的命令：
claccess
cldevice
cldevicegroup
clinterconnect
clnasdevice
clnode
clquorum
clreslogicalhostname
clresource
clresourcegroup
clresourcetype
clressharedaddress
clsetup
clsnmphost
clsnmpmib
clnsmpuser
cltelemetryattribute
cluster
clzonecluster
scconf
scdidadm
scdpm
scgdevs
scrgadm
scsetup
scshutdown
scswitch
commandlog 文件中的记录可包含下列元素：
日期和时间戳
发出命令的主机的名称
命令的进程 ID
执行命令的用户的登录名
用户已执行的命令，包括所有选项和 *** 作对象
注 –
命令选项在 commandlog 文件中用引号括起，这样您就可以轻松找到它们，然后复制粘贴到 shell 中并在 shell 中执行。
已执行命令的退出状态
注 –
如果命令异常中止并产生未知结果，则 Sun Cluster 软件不会在 commandlog 文件中显示退出状态。
默认情况下，系统每周定期对 commandlog 文件进行一次归档。要更改 commandlog 文件的归档策略，请在群集的每个节点上运行 crontab命令。有关更多信息，请参见 crontab(1) 手册页。
在任意给定时刻，Sun Cluster 软件最多可在每个群集节点上维护八个先前归档的 commandlog 文件。当周的 commandlog 文件名为commandlog。时间最近的完整的周归档文件名为 commandlog0。时间最早的完整的周归档文件名为 commandlog7。
查看当周 commandlog 文件的内容，一次显示一屏。
phys-schost# more /var/cluster/logs/commandlog
示例 1–11 查看 Sun Cluster 命令日志的内容
以下示例显示了通过执行 more 命令显示的 commandlog 文件内容。
more -lines10 /var/cluster/logs/commandlog
11/11/2006 09:42:51 phys-schost-1 5222 root START - clsetup
11/11/2006 09:43:36 phys-schost-1 5758 root START - clrg add "app-sa-1"
11/11/2006 09:43:36 phys-schost-1 5758 root END 0
11/11/2006 09:43:36 phys-schost-1 5760 root START - clrg set -y
"RG_description=Department Shared Address RG" "app-sa-1"
11/11/2006 09:43:37 phys-schost-1 5760 root END 0
11/11/2006 09:44:15 phys-schost-1 5810 root START - clrg online "app-sa-1"
11/11/2006 09:44:15 phys-schost-1 5810 root END 0
11/11/2006 09:44:19 phys-schost-1 5222 root END -20988320
12/02/2006 14:37:21 phys-schost-1 5542 jbloggs START - clrg -c -g "app-sa-1"
-y "RG_description=Joe Bloggs Shared Address RG"
12/02/2006 14:37:22 phys-schost-1 5542 jbloggs END 0

>

1、进入日志文件所在的文件目录，比如：

cd /opt/tomcat7/logs

2、通过命令打开日志，分析需求场景打开需要的日志

比如：

tail  -f   catalinaout

3、常用命令一：tail

比如：

tail -f  testlog    (循环查看文件内容)

4、按照行号查询：cat（过滤出关键字附近的日志）

cat -n testlog |grep "订单号"

然后使用 head -n 20 查看查询结果里的向前20条记录

5、按照时间日期查询，（查询出一段时间内的记录）

sed -n '/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p'  testlog

查看该段时间内的日志

但是前提是用方法4试一下查询的哪个其实时间是不是存在

入侵的话不可能卡着点儿来啊。

把系统上跑的各种程序自己的log调出来看，有木有1点半干了啥的记录。

把ips、ids、各种审计设备、路由器、网关、代理服务器等等的你能找到的记录都拿来看看，有木有1点半的记录。

直接把那几条登录日志的原文在百度里搜，看看别人有没有遇到。

最关键的一点——你说的“以下”在哪啊？

最后，听说随便从网上找一段内容，只要按照非常整齐的格式贴进来，就会被百度机器人自动选为最佳答案。

但是我是很烦复制粘贴大神的，所以我把自己编的内容也按1、2、3的列表排列。

look！下边已经出现来刷分的贴了。

-----------------------------

虽然楼主已经补充了日志内容，但是看到百度大神————经的表现，我立刻委了。讲真我觉得百度人工智能将是国家民族的灾难，大家自求多福。

如何收集Domino服务器日志
在论坛已久，发现用户提交问题，太过于简单，很多就是说明现象，不太便于分析和理解。
来论坛发帖大部分都是Domino管理员和开发者，希望更加细致和专业，同时提高自己分析能力。
以下来自ibm的邮件或者帮助：
1 当Windows平台上服务器挂起(非>

Web服务器日志

市面上各家网页服务器自发展初随时都会纪录其所有的交易于一个日志档里头。这种特性不久就被网管意识到可以透过软件读取它，以提供网页流行度的相关资料；从而造成网站日志分析软件的兴起。

90年代早期，网站统计资料仅是简单的客户端对网站服务器请求(或者访问)的记数值。一开始这是挺合理的方法，因为每个网站通常只有单一个HTML档案。然而，随着图形进入HTML标准，以及网站扩增至多重HTML档案，这种记数变得没什么帮助。最早真正的商用日志分析器于1994年由IPRO发行。

90年代中期，两种计量单位被引入以更准确的估计人类于网站服务器上的活动总数。它们是网页点阅数(PageViews)以及访问量(Visits，或者节区(Session))。一次的网页点阅数定义为客户端对服务器提出某单一网页读取请求，恰好为对某一图形请求的相反；而一次的访问量则定义为来自于某一唯一已识别的客户端对服务器一连串请求直到闲置一段时间——通常为30分钟——为止。网页点阅数与访问量仍旧在报告上十分常见，不过现今它们被当作是过于简单的量度。

90年代末期，随着网络蜘蛛与机器人问世，伴随着大型企业以及互联网服务提供商使用代理服务器与动态指定IP地址，鉴别某网站单一访客变得更困难。对此，日志分析器以指定Cookie作为追踪访问量的对策，并忽略已知的蜘蛛机器人的读取请求。

网页快取的广泛使用也造成日志分析上的问题。如果某人再度造访某页，第二次的读取请求通常由网页浏览器快取达成，因此网站服务器端不会接受到此请求。这意味着该访问者浏览过该站的“足迹”丢失。快取与否可于设定网站服务器时克服，不过这可能导致降低该网站的效能。

JavaScript标记

由于对日志档案分析于快取存在下准确性的关注，以及渴望能实现把网站分析当作是种外包的服务，导致第二种资料收集方法：加网页标签，或称网虫(Webbug)的出现。

90年代中期，网页计数器已经普及——这些计数器以包含在网页中的图像出现，显示多少次该图像被读取过。而图像内容就是显示大约该页被拜访次数的数目。90年代晚期，这种做法延伸至包括一个微小不可见图像，而非可见的。并且，透过JavaScript，图像请求的某些关于网页和访客的讯息被传递到第三方服务器方。这些资料随后被网站分析公司处理并产生详细的统计资料。

网站分析服务也代管指定cookie到使用者的过程。这种方式可以鉴别各个唯一访客初次以及随后的拜访。

随着Ajax为主解决方案普及，一种利用不可见图像的替代方案实现了从读取页面“回电”服务器的机制。在这个情况下，当某网页被网页浏览器读取，该页某部分Ajax代码将致电回服务器并递送有关用户端的资讯，随后被送到网站分析公司做汇整。这在某些方面还是有漏洞，因为某些浏览器限定哪种Xml>

---