ELK日志可视化

ELK日志可视化

kibana简介
kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互 *** 作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

kibana数据可视化安装rpm -ivh kibana-7.6.1-x86_64.rpm
编辑主配文件vim /etc/kibana/kibana.yml
server.port: 5601
server.host: “172.25.9.7”
elasticsearch.hosts: [“http://172.25.9.4:9200”]
i18n.locale: “zh-CN”

等待端口启动netstat -antlp |grep :5601

过滤插件拉起logstash /usr/share/logstash/bin/logstash -f grok.conf

网页访问http://172.25.9.7:5601

创建索引匹配

创建可视化

访问次数可视化

压力测试访问：
ab -n 100 -c1 http://172.25.9.7/index.html
refresh后次数会发生实时变化
测试完成后记得保存

启用xpack安全验证

elasticsearch集群节点创建证书

cd /usr/share/elasticsearch/
bin/elasticsearch-certutil ca
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
cp elastic-certificates.p12 elastic-stack-ca.p12 /etc/elasticsearch

修改权限
cd /etc/elasticsearch
chown elasticsearch elastic-certificates.p12 elastic-stack-ca.p12

添加内部信息采集参数到ES集群，每一个ES集群节点都需要 *** 作
vim /etc/elasticsearch/elasticsearch.yml

重启集群systemctl restart elasticsearch.service

集群启动正常后，设置用户密码：

kibana连接es集群的用户密码写入kibana主配文件vim /etc/kibana/kibana.yml

设置Logstash连接ES用户密码:

监控设置 主配添加：

http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type #添加参数到es配置
监控访问需要认证http://172.25.0.13:9100/?auth_user=elastic&auth_password=westos

集群信息采集之插件采集
metricbeat所有ES集群节点均需要安装metricbeat的 *** 作rpm -ivh metricbeat-7.6.1-x86_64.rpm
启用elasticsearch-xpack模板文件

metricbeat modules enable elasticsearch-xpack

编辑模板文件vim /etc/metricbeat/modules.d/elasticsearch-xpack.yml

编辑metricbeat主配置文件vim metricbeat.yml

启动metricbeat systemctl enable metricbeat.service --now所有ES集群都需要上述 *** 作，完成后监控查看

filebeat
filebeat -> kafka/redis -> logstash -> es -> kibana
所有ES集群节点均需要安装filebeat的 *** 作
安装rpm包rpm -ivh filebeat-7.6.1-x86_64.rpm

编辑模板文件
vim /etc/filebeat/modules.d/elasticsearch.yml

编辑filebeat主配文件vim filebeat.yml

systemctl enable --now filebeat.service

可视化UI查看日志数据

可以通过流式传输关键字数据