ETL工具之日志采集filebeat+logstash

原文地址： https://www.jianshu.com/p/7aa55172c3e2

web服务产生的日志文件，需要进行日敏戚志收集并进行可视化展示，一般使用filebeat和logstash组合。

Logstash是具有实时收集日志功能，可以动态统一来自族碧不同来源的数据，任何类型的事件都可以通过各种各样的输入，过滤功能和输出插件来丰富和转换。是一个重量级的服务，很占用内存，会影响到部署到本机器上的服务。

Filebeat是用于转发和采集日志数据的轻量级服务。能监视您指定的日志文件或位置，收集日志事件，并将它们转发到Logstash或elasticsearch （在 5.x 版本中，它也具兆拿举备过滤的能力，但是还不及Logstash丰富）

如果对于日志不需要进行过滤分析的，可以直接使用filebeat

如果需要对日志进行过滤分析， 可以使用filebeat+Logstash最合适，如果单独使用Logstash，多台机都需部署Logstash,每台机消耗资源大，filebeat+Logstash相结合，每台机部署filebeat进行数据采集， 一台机部署Logstash作为中心进行接收数据处理以及存储到不同的地方，

Logstash

Filebeat

filebeat文档： https://www.elastic.co/guide/en/beats/filebeat/current/index.html

logstash文档： https://www.elastic.co/guide/en/logstash/7.3

2020-07-30

预期效果：在kibana中建立不同的所以，通过索引可以查到不同日志的信息

（如果不同目录下的日志格式和类型一致，可以输出到logstash的键巧闷同一端口，反之应该分开，即一个日志就需要写一个filebeat配置文件+一个logstash配置文件）

采集目标日志的路径：

C:\testlog\test.log（例：2020-07-30 15:05:54 | INFO | This is a test log13, kkkk55!）

C:\testlog1\test1.log（例：2020-07-30 14:56:30,674 [112] DEBUG performanceTrace 1120 http://api.114995.com:8082/api/Carpool/QueryMatchRoutes 183.205.134.240 null 972533 310000 TITTL00 HUAWEI 860485038452951 3.1.146 HUAWEI 5.1 113.552344 33.332737 发送响应完成 Exception:(null)）

（两个日志的内容格式不同）

配置文件路径：D:\Linux\data\ELK-Windows\elk\filebeat-7.8.0-windows-x86_64\filebeat.yml

配置文件路径：D:\Linux\data\ELK-Windows\elk\filebeat-7.8.0-windows-x86_64\filebeat1.yml

（拷贝第一个filebeat.yml文件重命名并修改内容）

配置文件路径：D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\config\logstash.yml

配置文件路径：D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\config\logstash.yml（拷贝修改）

powershell执行（一共开启4个powershell终端）

数据存储路径：D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\config

数据存储路径：D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\config\logstash1（自己新建）

默认的数据存储路径是D:\Linux\data\ELK-Windows\elk\filebeat-7.8.0-windows-x86_64\data

默认的数据存储路径是D:\Linux\data\ELK-Windows\elk\filebeat-7.8.0-windows-x86_64\data1

（注意：data1原本是没有的，需要稿弯自己创建）

（宽枯必须指定新的数据存储路径，否则执行失败）

1.分别在两个日志文件中新加几条日志记录，并保存

2.观察 http://172.10.0.108:9100/ 是否生成新的索引

---