flume消费数据从kafka到hdfs上,flume日志显示如图,hdfs上没有数据,有大神吗?

flume消费数据从kafka到hdfs上,flume日志显示如图,hdfs上没有数据,有大神吗?,第1张

好像是这样的:avro会将您的日志收集起来放到一个文件中,当它达到设定的大小是才执行“Renaming” *** 作(或者强制kill时执行);2.UNBOUND也困扰我一段时间,我的结论是,这不是一句报错,不信您仔细看看,那一行根本没有“ERROR”之类的提示。

项目的架构是使用flume直接从kafka读取数据Sink HDFS

HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用NameNode的内存空间,另一方面就是索引文件过大使得索引速度变慢。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128MB的块存储,实际使用是1MB的磁盘空间,而不是128M,但他的索引在NameNode中占用的内存是150byte。

小文件的优化无非以下几种方式:


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10826395.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-11
下一篇 2023-05-11

发表评论

登录后才能评论

评论列表(0条)

保存