flume学习一

flume学习一 定义：

flume是一个高可用、高可靠、分布式的，日志采集、聚合、传输的系统。只能是日志类型的数据，图片视频这样的数据不行。

作用：

flume的作用就是从本地磁盘读取数据再将数据传到HDFS 做离线分析

flume架构 ：数据来源--->flume--->数据去向

flume组件：

source：Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种 格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。(flume中用来接受从wedServer读取的数据，跟外界打交道。读文件、端口数据等) avro用于多层flume

channel：作用就是起到缓冲的作用

sink：Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储 或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、Hbase、solr、自定 义。

agent：Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。