ELK日志分析的概述：

ELK日志分析的概述： 1，环境概述：

 

         日志分析是运维工程师解决系统故障，发现问题的主要手段。Linux *** 作系统中日志主要包括系统日志、用户日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志来了解服务器的软硬件信息、靴查服务配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能和安全性，从而及时采取响应措施纠正错误。

         默认情况下,日志被分散的储存在各个相应的设备上。如果你管理了数十上百台服务器，而你还在使用传统方式依次登录每台机器查阅日志，即繁琐又效率低下。为此，我们可以使用集中化的日志管理工具。例如:开源的syslog可将所有服务器上的日志收集汇总，集中管理。

         集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep.awk、 sed、 sort、uniq、wc等 Linux 文本命令实现日志检索和统计，但是对于更高要求的查询、排序和统计等需求，再加上庞大的机器数量，使用这样的方法依然难免有点力不从心。

         开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK[Stack][由ElasticSearch、Logstash和 Kibana三个开源工具组成。官方网站: 开源搜索：Elasticsearch、ELK Stack 和 Kibana 的开发者 | Elastic[。

   Elasticsearch 是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。    Logstash 是一个完全开源的工具，它可以对日志进行收集、过滤，输出并将其存储，供以后使用（如ES搜索)。    Kibana 也是一个开源和免费的工具, Kibana可以为 Logstash 和 ElasticSearch提供友好的日志分析web 界面，可以帮助用户汇总、分析和搜索重要数据日志。

  ELK 工作原理展示图：

      Logstash收集AppServer,产生的Log，并存放到 ElasticSearch 集群中，而 Kibana则从ES集群中查询数据生成图表，再返回给Browser。简单来说，进行日志处理分析，一般需要经过以下几个步骤:I

《1》.采集应用程序产生的日志( filebeat）

《2》将日志格式化( logstash)e

《3》.对格式化后的数据进行索引和存储（elasticsearch)

《4》.前端数据的展示( kibana)c