求教,flume写入hdfs问题

求教,flume写入hdfs问题,第1张

好像是这样的:

1. avro会将您的日志收集起来放到一个文件中,当它达到设定的大小是才执行“Renaming” *** 作(或者强制kill时执行);

2. UNBOUND也困扰我一段时间,我的结论是,这不是一句报错,不信您仔细看看,那一行根本没有“ERROR”之类的提示。UNBOUND只是表示,当前这个日志文件没有达到设定的大小,不需要“ Renaming”为一个单独的文件。“ Renaming”之后一般会另起一个*.tmp文件开始写入。

这是我的理解,欢迎批评指正。

flume可以实时的导入数据到hdfs中,当hdfs上的文件达到一个指定大小的时候会形成一个文件,或者超过指定时间的话也形成一个文件。文件都是存储在datanode上面的,namenode记录着datanode的元数据信息,而namenode的元数据信息是存在内存中的,所以当文件切片很小或者很多的时候会卡死。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9933836.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存