filebeat收集日志+kibana配置索引检索规则

filebeat收集日志+kibana配置索引检索规则

 整体流程--filebeat收集日志后 kibana对收集的filebear日志做可持续化的分析

前置--ELKB安装(Elasticsearch+logstash+kibana+filebeat)_T_james的博客-CSDN博客本篇博客主要是为了搭建ELKB的运行环境 旨在对线上多台服务器的日志进行获取分析 解决日常运行查看中的痛点 前置准备：1.安装jdk环境--java -version2.下载相关的压缩包或者获取对应的rpm文件 本文采取前者 官网tar下载路径:Elasticsearch：官方分布式搜索和分析引擎 | Elastichttps://www.elastic.co/cn/elasticsearch/3.机器须大于4G内存 否则相关实例运行会报错4....https://blog.csdn.net/T_james/article/details/121467609

 在上文中 可以登陆kibana的logs界面搜索相关日志信息 不知道大家发现没有 搜索相关关键字时 往往搜索结果都不一样 命中率比较低 究其原因 没有为日志进行索引规则的匹配

1.filebeat收集日志

2.kibana+elasticsearch正常启动

3.kibana配置

   1.Home--Analytics--discover--正常该目录下是没有任何配置的(导入系统的飞行数据和web log除外)

   2.在devtools内 运行GET _cat/indices?v命令 如果有filebeat-7.15.日期的前缀命名的索引代表是我们的filebeat所监控的日志文件--可以执行第三步

 3.Home--Management--stack management--kibana--index patterns目录--create index pattern

 

 成功匹配到对应索引 最终选择create index pattern完成加载即可

 4.验证--回到最开始第一点的路径  home/analytics/discover--选中自己想查询的索引文件 如下图

 

5.只显示对应的相关行(只显示日志内容 其他非关键信息不要显示)--使用左侧selected fields和available fields来配合筛选

 

 6.配合筛选相关词项---search--message:"RedisKeyExpirationListener"--会命中对应的关键字

 

filebeat对目录下的文件实时获取实时发送到elasticsearch 

elasticsearch对数据进行检索 存储 分析

kibana对数据进行可视化及展现

大家可以通过此处配置对日志文件进行分析 减少cat  grep less tail 等命令的使用了