hadoop配置Flume

hadoop配置Flume

一、解压

1. cd /usr/local/sof

2. tar -zxvf apache-flume-1.9.0-bin.tar.gz

二、添加系统环境变量

1. vi /etc/profile

2. export FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-bin

3. export PATH=$PATH:$FLUME_HOME/bin

4. source /etc/profile

三、修改Flume环境变量

cd /usr/local/soft/apache-flume-1.9.0-bin/conf/
拷贝环境变量文件

cp flume-env.sh.template flume-env.sh
添加内容

export JAVA_HOME=/usr/local/soft/jdk1.8.0_11
四、配置文件

客户端(Source)：收集信息

拷贝配置文件：

cp flume-conf.properties.template flume-client.properties
配置文件内容：

#分别指定agent的sources，sinks, channels的名称 名称可以自定义
 
a1.sources = s1 
 
a1.sinks = k1 
 
a1.channels = c1 
 
#配置目录scource
 
a1.sources.s1.type =spooldir 
 
a1.sources.s1.spoolDir =/home/hadoop/logs 
 
a1.sources.s1.fileHeader= true 
 
a1.sources.s1.channels =c1 
 
#配置sink
 
a1.sinks.k1.type = logger 
 
a1.sinks.k1.channel = c1 

#配置channel(内存做缓存)
 
a1.channels.c1.type = memory
五、启动

flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console
其中：

-n:agent名称

-c:配置文件路径conf

-f:配置文件名称

附：集群拷贝

scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave1:/usr/local/soft
 
scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave2:/usr/local/soft