小文件存储

小文件存储,第1张

文件存储对hbase不太合适。会产生太多小块。hbase是按照rowkey来分片的。所以太多小文件了

https://zhuanlan.zhihu.com/p/136705670

fb的haystack。

思路是:绝弯把目录做成单独的service,

文件合并成大文件,这样在物理存储层上亩旁,metadata的存储并耐闷压力就小。

1、用户画像

比如大型的视频网站,电商平台产生的用户点击行为、浏览行为等等存储在HBase中为后续的智能推荐做数据支撑。

2、消息/订单存储

这个李顷租场景主要应用在电商平台,因为HBase提供了哪兆一个低延时、高并发的访问能力

3、对象存储

这里的对象存储实际是中等对象存储,是对HDFS存储文件的一个缓冲过度,因为如果我们大量的1M或2M这种小文件直接存储在HDFS上,会对NAMENODE造成元数据维护的压力,所以在HBase中可以很好的做过度合并后在持久化到乎橘HDFS上。HBase提供了中等对现象的存储能力,中等对象的大小范围在100k至10M之间。

4、时序数据

这里的时序数据是指随着时间而变化的数据,比如速度的展示,天气、温度、风速、车流量等等

5、Cube分析(KyLin)

通过KyLin将Hive或kafka中的数据,来构建Cube,这些Cube会存储在HBase中,以供其他的应用或其他的系统做实时查询或实时展示。

6、Feeds流

这个场景主要是应用在抖音、或其他小视频系统中,可以把Feeds流理解为一种内容聚合器,它可以帮助用户实时的获取最新的订阅源内容。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12249706.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-22
下一篇 2023-05-22

发表评论

登录后才能评论

评论列表(0条)

保存