Logstash-配置

Logstash-配置,第1张

配置 Logstash,你需要创建一个配置文件来指定想要使用的插件和每个插件的设置。可以引用配置中的事件字段,并在事件满足某些条件时使用条件来处理它们。运行logstash时使用-f指定配置文件。

每种类型的插件都有一个单独的部分,每个部分都包含一个或多个插件的配置选项。如果指定多个过滤器,则会按照它们在配置文件中出现的顺序进行应用。

logstash-simple.conf

Logstash中的某些配置选项需要使用事件的字段。因为输入会生成事件,所以输入块中没有要评估的字段,因为它们还不存在。

仅在过滤器和输出块内起作用。基本语法是[fieldname],引用顶级字段时可以去掉[],引用嵌套字段时,要指定完成整路径[top-level field][nested field]。

引用事件字段:increment =>"apache.%{[response][status]}"

引用事件日期和类型:path =>"/var/log/%{type}.%{+yyyy.MM.dd.HH}"

只想在特定条件下过滤或输出事件,这时可以使用条件。

还可以使用 (...) ,对表达式进行分组。

一个特殊的字段,在输出时不会成为任何事件的一部分。非常适用于做条件,扩展和构建事件字段等

包括:logstash.yaml、pipelines.yml、jvm.options、log4j2.properties、startup.options

如果需要在同一个进程中运行多个管道,通过配置pipelines.yml文件来处理,必须放在path.settings文件夹中。并遵循以下结构:

不带任何参数启动Logstash时,将读取pipelines.yml文件并实例化该文件中指定的所有管道。如果使用-e或-f时,Logstash会忽略pipelines.yml文件并记录相关警告。

使用Logstash的多管道功能时,可以在同一Logstash实例中连接多个管道。此配置对于隔离这些管道的执行以及有助于打破复杂管道的逻辑很有用。

如果没有开启自动重新加载(--config.reload.automatic),可以强制Logstash重新加载配置文件并重新启动管道。

注意Logstash不会按照glob表达式中编写的文件顺序执行,是按照字母顺序对其进行排序执行的。

命令行上设置的所有参数都会覆盖logstash.yml中的相应设置。生产环境建议使用logstash.yml控制Logstash执行。

参数:

示例:

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。

但是在好用的东西也得看个人掌握的技能程度,你如果都不能深入的理解,那就根本谈不上好不好用了。萝卜青菜各有所爱,最终还得看个人。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/tougao/11251091.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-14
下一篇 2023-05-14

发表评论

登录后才能评论

评论列表(0条)

保存