Nifi--从Mysql抛转数据到Elasticsearch

Nifi--从Mysql抛转数据到Elasticsearch,第1张

Nifi--从Mysql抛转数据到Elasticsearch Nifi–从Mysql抛转数据到Elasticsearch 1. 概览

2. QueryDatabaseTable

    SCHEDULING —> Run Schedule需要设置大一点,否则会频繁查询数据库;

    Database Connection Pooling Service 第一次创建没有连接池,可以新增一个DBCP连接池;

    创建连接池以后,点击右侧Go To按钮配置连接信息,包含:连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable;

    Table Name 配置表名;Custom Query 配置查询语句;

      QueryDatabaseTable和PutElasticsearchRecord之间的连接(Connection)配置如下:

      连接创建成功后,如果是集群,Load Balance Strategy可以设置为轮询策略;

      Load Balance Compression可以配置为属性和内容加密传输;

3. PutElasticsearchRecord
    Index配置index名称,Type选填;Client Server 选择ElasticSearchClientServiceImpl,配置连接地址以后,设为Enable状态;

    Record Reader 选择AvroReader,因为QueryDatabaseTable读取的是avro格式,状态设为Enable

    Relationships 除了success以外都勾选,若想对其他情况单独处理也可以;

    PutElasticsearchRecord和LogAttribute之间的连接(Connection)勾选success

4. LogAttribute
    RelationShips勾选success

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5702119.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存