flume拦截器 是什么设计模式

flume拦截器 是什么设计模式,第1张

学习flume以来,实现了日志的多来源自动抽取和多target的自动发送等,但是一直以来的数据清洗过程一直是放在hadoop中用MR程序定时进行清洗的,有没有一种方式编程能够直接在flume中来进行相关的数据清洗数据匹配,过滤掉那些不规范的脏数据,于是决定打这个flume拦截器的主义,觉得只要把代码稍微改改,从拦截body开始自定义intercepter编程完成每个body字符串的解析字段的正则提取和拼接,我们自定义的这个类叫:LogAnalysis 如下:

package com.besttone.interceptor

import com.google.common.base.Charsets

import com.google.common.collect.Lists

import org.apache.commons.lang.StringUtils

import org.apache.flume.Context

import org.apache.flume.Event

步骤:

1.导入flume的依赖

2.创建类,实现org.apache.flume.interceptor.Interceptor接口,并实现接口方法

3.创建静态内部类实现Interceptor.Builder接口


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6693201.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-26
下一篇 2023-03-26

发表评论

登录后才能评论

评论列表(0条)

保存