ELK大规模日志实时处理系统应用实战

ELK大规模日志实时处理系统应用实战

        在日常运维工作中，我们需要进行日志分析，通常根据特定条件直接grep、awk过滤自己想要的信息。但在大规模的日志场景中，这种方法效率低下，面临的问题是数据量大、时间跨度长、查询慢等问题。通常解决思路是建立集中式的日志管理分析系统，将所有节点日志进行收集、整理、归档管理。

        目前ELK（E=Elasticsearch、L=Logstash、K=Kibana）提供了一整套的日志管理分析的解决方案，是当前流行的一种日志分析管理系统。

1.1 ELK架构介绍

对于日常运维工作而言，ELK提供一整套日志收集、分析、管理的解决方案。