logstash 8.1.0 读取sql server 2016的表数据到elasticsearch 8.1.0中

背景

如标题所述

具体内容 1. es启动成功

细节不提

2. 配置logstash的读取sqlserver的配置文件

在/etc/logstash目录下创建 配置文件，比如命名为: sqlserver-logstash.conf
内容如下：

内如如下：

1 input {
  2         jdbc {
  3                 jdbc_driver_library => "/etc/logstash/mylib/mssql-jdbc-7.4.1.jre8.jar"
  4                 jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  5                 jdbc_connection_string => "jdbc:sqlserver://1.2.3.4:1433;DatabaseName=mytest;"
  6                 jdbc_user => "aaaaa"
  7                 jdbc_password => "1234"
  8                 jdbc_paging_enabled => "true" #是否进行分页
  9                 # jdbc_page_size => "50000"
 10                 tracking_column => "id"
 11                 use_column_value => true
 12                 # statement_filepath => "sql文件路径，与下面的执行语句二选1"
 13                 statement => "SELECT * FROM table1 where id > 0 "
 14                 # 设置监听间隔  各字段含义（由左至右）秒、分、时、天、月、年，全部为*默认含义为每分钟都更新
 15                 # schedule => " 10 * * * * *"
 16                 schedule => "5 * * * * *"
 17         }
 18 }
 19 output {
 20         elasticsearch {
 21                 document_id => "%{id}"
 22                 # document_type => ""
 23                 index => "sqlserver-paymentorder"
 24                 hosts => ["https://127.0.0.1:9200"]
 25                 cacert => "/etc/logstash/ssl/http_ca.crt"
 26                 user => "zs"
 27                 password => "123456"
 28         }
 29         stdout{
 30                 codec => rubydebug
 31         }
 32 }

其中需要注意的是:

1. 需要的mssql-jdbc jar文件自己找，自己放到某个位置，并且配置访问权限
2. 本机并不用安装jdk，elk自带
3. 我本机的是SQLServer 2016，logstash 8.1.0，使用了好几个版本的mssql-jdbc jar文件都不行，最终在官网找到一个帖子，里面的那个 mssql-jdbc-7.4.1.jre8.jar 可以使用。
   

   
   

我用的始终不成功，报连接SQLServer失败的包是：

如上图，红线的几个jar包我都试过，都报错。

绿圈的这个最终成功了。

3. 启动

执行命令
sudo /usr/share/logstash/bin/logstash -f /etc/logstash/sqlserver-logstash.conf --path.settings=/etc/logstash
成功。

下面是成功后的截图：

后记

参考的这个帖子，最终找到了可用版本的jar包，然后就成功了。

https://ramanareddy-v.medium.com/steps-to-install-configure-sql-server-with-logstash-3a4e184eaf5

尤其注意，关键是找到合适版本的jar包，否则一直报错，很烦。