Flume Sink组件常见类型

Flume Sink组件常见类型 Hdfs sink

此接收器将事件写入 Hadoop 分布式文件系统 (HDFS)

参数说明
type hadfs
hdfs.path 必填，目录(eghdfs://namenode/flume/webdata/) hdfs.filePrefix Flume在目录下创建文件的名称前缀 hdfs.fileSuffix – 追加到文件的名称后缀 (eg .avro - 注:
日期时间不会自动添加)
hdfs.inUsePrefix Flume正在处理的文件所加的前缀
hdfs.inUseSuffix Flume正在处理的文件所加的后缀

Example for agent named a1:
a1.channels = c1 a1.sinks = k1
a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

案例：

启动并向端口发送数据，监听得到的日志存在hdfs上

Hive Sink

该sink streams 将包含分割文本或者JSON数据的events直接传送到Hive表或分区中。使用Hive 事务写events。当一系列events提交到Hive时，它们马上可以被Hive查询到。

参数说明
type 类型
hive.metastore – Hive metastore URI
hive.database – Hive 数据库名
hive.table – Hive 表名

创建hive表

Kafka Sink

可以将数据发布到 Kafka主题。目标之一是将 Flume 与 Kafka 集成，以便基于拉的处理系统可以处理来自各种 Flume 源的数据。

参数说明
Type:类型
Kafka.bootstrap.servers：kafka集群服务器
Kafka.topic：kafka主题

向监控目录写文件

Kafka收集得到的结果

File Roll Sink

在本地文件系统中存储事件，每隔指定时长生成文件保存这段时间内收集到的日志信息。

参数说明
Type:类型
Sink.directory:存储文件的目录路径

Logger Sink

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

Avro Sink

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = 10.10.10.10
a1.sinks.k1.port = 4545