flume的文件监视

flume的文件监视

flume的文件监视

• 一、启动zookeeper
• 二、进入flume的conf中
• 三、启动flume
• 四、编写data.log文件
• 五、在启动flume的终端中查看

一、启动zookeeper

zkServer.sh start

二、进入flume的conf中

cd /export/software/flume/conf/

三、编写exec-memory-logger.conf文件

vi exec-memory-logger.conf

a1.sources = r1		# 输入端名称为r1
a1.sinks = k1	# 输出端名称为k1
a1.channels = c1	# 传输通道为c1

a1.sources.r1.type = exec 	# 设置输入端的类型为exec
a1.sources.r1.command = tail -F /export/software/data.log 	# 设置输入端的路径

a1.channels.c1.type = memory	# 设置传输端的类型
a1.channels.c1.capacity = 1000	# 设置传输通道的最大容量
a1.channels.c1.transactionCapacity = 100	# 设置传输通道的传输量
a1.sinks.k1.type = logger	# 设置传输端的组件类型
# 进行sources、sinks、channels关联绑定
a1.sinks.k1.channel = c1	
a1.sinks.r1.channels = c1

保存用ESC—>:wq

三、启动flume

/export/software/flume/bin/flume-ng agent --name a1 --conf conf --conf-file exec-memory-logger.conf -Dflume.root.logger=INFO,console

四、编写data.log文件

新建终端
切换到/export/software

vi data.log

在里面随便输入内容

五、在启动flume的终端中查看

发现刚刚在data.log中输入的内容已经在控制台输出