Flume1.9.0配置

Flume1.9.0配置

一、把安装包拉到/opt/software/下面

把apache-flume-1.9.0-bin.tar.gz的安装包拉到/opt/software/下面

 

二、解压

cd /usr/local/soft

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

三、添加系统环境变量(需配置Java JDK系统参数)

切换到cd /opt/module/下面

vi /etc/profile

 

export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin

export PATH=$PATH:$FLUME_HOME/bin

source /etc/profile 

 

四、修改Flume环境变量

拷贝环境变量文件

cp flume-env.sh.template flume-env.sh

ll查看一下

 

 

添加内容

vi flume-env.sh

 

export FLUME_HOME=/opt/module/jdk1.8.0_212

export前面的#空格都要删除

/opt/module/jdk1.8.0_212/后的/要删除 

 

五、配置文件

客户端(Source)：收集信息

拷贝配置文件：

cp flume-con.properties.template flume-client.properties

 vi flume-client.properties

 

配置文件内容：

#分别指定agent的sources，sinks, channels的名称 名称可以自定义

a1.sources = s1  

a1.sinks = k1  

a1.channels = c1  

   

#配置目录scource

a1.sources.s1.type =spooldir  

a1.sources.s1.spoolDir =/home/hadoop/logs  

a1.sources.s1.fileHeader= true  

a1.sources.s1.channels =c1  

   

#配置sink

a1.sinks.k1.type = logger  

a1.sinks.k1.channel = c1  

   

#配置channel(内存做缓存)

a1.channels.c1.type = memory

 

五、启动

flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console

其中：

-n:agent名称

-c:配置文件路径conf

-f:配置文件名称

附：集群拷贝

scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave1:/usr/local/soft

scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave2:/usr/local/soft