Logstash Beats插件 --- 2022-04-03

Beats input插件让Logstash可以接收来自Elastic Beats framework发送过来的数据，Elastic Beats framework用的比较多的就是Filebeat

例子

接收来自beats的数据，并且将数据导入到ES中。

Beats Input插件参数

drop filter插件主要用于删除logstash收集到的数据，通常配合条件语句一起使用。

提示：logstash是一条一条数据发给filter处理，所以drop filter也是一条数据，一条数据的删除。

例子：

1、logstash本身不是使用java实现的。

2、logstash支持异构，跨语言传输可以通过插件或中间件的方式进行，比如可以使用jdbc-xxxjar链接数据库，通过kafka获取数据等。

优势

Logstash 主要的有点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。以下是一些例子：

5 minute intro

reindexing data in Elasticsearch

parsing Elasticsearch logs

rewriting Elasticsearch slowlogs so you can replay them with JMeter

劣势

Logstash 致命的问题是它的性能以及资源消耗（默认的堆大小是 1GB）。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。这里有 Logstash 与 rsyslog 性能对比 以及 Logstash 与 filebeat 的性能对比 。它在大数据量的情况下会是个问题。

优势

Filebeat 只是一个二进制文件没有任何依赖。它占用资源极少，尽管它还十分年轻，正式因为它简单，所以几乎没有什么可以出错的地方，所以它的可靠性还是很高的。它也为我们提供了很多可以调节的点，例如：它以何种方式搜索新的文件，以及当文件有一段时间没有发生变化时，何时选择关闭文件句柄。

劣势

Filebeat 的应用范围十分有限，所以在某些场景下我们会碰到问题。例如，如果使用 Logstash 作为下游管道，我们同样会遇到性能问题。正因为如此，Filebeat 的范围在扩大。开始时，它只能将日志发送到 Logstash 和 Elasticsearch，而现在它可以将日志发送给 Kafka 和 Redis，在 5x 版本中，它还具备过滤的能力。

典型应用场景

Filebeat 在解决某些特定的问题时：日志存于文件，我们希望

将日志直接传输存储到 Elasticsearch 。这仅在我们只是抓去（grep）它们或者日志是存于 JSON 格式（Filebeat 可以解析 JSON）。或者如果打算使用 Elasticsearch 的 Ingest 功能对日志进行解析和丰富。

将日志发送到 Kafka/Redis 。所以另外一个传输工具（例如，Logstash 或自定义的 Kafka 消费者）可以进一步丰富和转发。这里假设选择的下游传输工具能够满足我们对功能和性能的要求

优势

可以获取 /var/log 下的所有信息，解析各种格式（Elasticsearch，Solr，MongoDB，Apache >

上一篇 <<< Linux环境安装Elasticsearch集群

下一篇 >>> Logstash-input-jdbc实现ES和数据同步 *** 作步骤

推荐阅读：

<<< Elasticsearch入门知识

<<< Elasticsearch快速原因分析及应用场景

<<< Elasticsearch的存储结构端口及版本控制

<<< Elasticsearch文档映射方式

<<< Elasticsearch的基本及复杂数据类型

<<< Elasticsearch的简易版及结构化查询语句

<<< Elasticsearch默认分词器对中文分词不友好

<<< Elasticsearch自定义分词和分词器

<<< 正向索引和倒排索引区别

<<< Elasticsearch中的类型区别汇总

<<< Elasticsearch是如何解决高并发问题

<<< Elasticsearch集群相关名词

<<< Elasticsearch集群及分片实现原理

<<< SpringBoot整合Elasticsearch

<<< Linux环境安装Elasticsearch

<<< Linux环境安装Elasticsearch集群

<<< Logstash-input-jdbc实现ES和数据同步 *** 作步骤

为了使用X-Pack强大的特性，我分别在Kibana, Logstash和Elasticsearch根目录中安装了X-Pack插件，安装完成重启各软件之后，满心欢喜。可是随后令人蛋痛的事情发生了，Logstash不能正常工作。

查看日志文件： /var/log/logstash/logstash-plainlog

我以为Kibana有安全认证，输入密码登录就好，没想到Logstash访问Elasticsearch也要认证。那我就老老实实在Logstash配置中添加认证信息

主要是加入了账号和密码。

OK。重启开始验证。

。。。

还是不行，再次查看日志,发现每三秒出现一次如下的错误：

我明明配置了Elasticsearch的hosts，怎么还是loccalhost。百思不得其解，陷入抓狂中。

一度以为是这个配置文件格式有问题，但是后来想想并不是，格式不对应该提示格式错误，这分明是网络错误。

最后还是仔细分析错误日志， health check 是安装X-Pack之后才出现的，一查原来是X-Pack的监控。

>

DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是第一步。

下面介绍下常见的三款日志采集工具并对比分析。

Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合 ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。

logstash基于JRuby实现，可以跨平台运行在JVM上。

模块化设计，有很强的扩展性和互 *** 作性。

开源社区中流行的日志收集工具，td-agent是其商业化版本，由Treasure Data公司维护，是本文选用的评测版本。

fluentd基于CRuby实现，并对性能表现关键的一些组件用C语言重新实现，整体性能不错。

fluentd设计简洁，pipeline内数据传递可靠性高。相较于logstash，其插件支持相对少一些。

阿里云日志服务的生产者，目前在阿里集团内部机器上运行，经过3年多时间的考验，目前为阿里公有云用户提供日志收集服务。

采用C++语言实现，对稳定性、资源控制、管理等下过很大的功夫，性能良好。相比于logstash、fluentd的社区支持，logtail功能较为单一，专注日志收集功能。

后面会分享更多devops和DBA方面内容，感兴趣的朋友可以关注下！

应用场景当中经常会遇到模糊查询或多条件匹配查询，数据量较小的情况下通过简单的数据库模糊查询是可以解决的，但是对于数据量庞大的情况，数据库模糊查询就会出现性能问题。这种情况下的一种解决方案就是根据查询内容构建反向索引，借助搜索引擎进行查询，提升查询性能。

目前使用比较多的分布式搜索引擎是ElasticSearch。那么项目中如何使用ES？如何保证ES的数据更新？下面简单做个描述。

Elasticsearch使用可以简单分为两个阶段。数据初始化阶段、数据更新阶段。

数据初始化阶段。数据初始化常见的方式如下：

一、通过应用程序手动将数据库中的数据，调用ES接口API插入ES索引库中。

二、同过数据迁移工具将数据初始化到ES数据库。目前常用的ES同步工具有logstash-input-jdbc、DataX。通过同步迁移工具可以全量将数据库数据初始化到ES索引库中。

数据更新阶段。数据更新阶段常见的处理方式如下：

一、通过应用服务直接调用ES更新接口。这种方式实现比较简单但是对业务侵入性比较大。

二、对于实时性要求不高的可以采用定时任务监控数据表变化然后调用ES接口实现数据更新。

三、业务应用中通过发送消息异步更新数据。

四、通过DataX同步工具定时将修改的数据同步到ES库中。

上述是ElasticSearch使用的简单描述。使用的关键还是数据库与ES间的数据同步。能否用的好关键也是数据间的同步。

以上就是关于Logstash Beats插件 --- 2022-04-03全部的内容，包括:Logstash Beats插件 --- 2022-04-03、Logstash drop filter插件 --- 2022-04-03、logstash 使用java接口作为输入吗等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！