关于hbase表的设计原理,列簇,数据压缩,版本的设计

关于hbase表的设计原理,列簇,数据压缩,版本的设计,第1张

关于hbase表的设计原理,列簇,数据压缩版本的设计

1.列簇一般设置是1-2 个,实际工作中我们设置的是一个列簇,如果列簇太多,那么一个列簇对应的是一个store,也是对应一个memstore,那么当达到一定的阈值(默认是128M),就会进行一次flush,多个列簇就会进行多次的flush,会导致不必要的I/O消耗,所以一般设置成1-2个就可以,并且能使用一个就不要使用两个。

2.版本的设计:我们的项目不需要保存历史数据,那么就使用默认的版本:VERSIONS=1,;如果我们的项目需要保存历史的变更信息,那么我们就可以使用VERSIONS>1的版本,但是一个弊端就是,设置为>1,那么也就意味着会占用更多的空间。
3.关于数据的压缩,hbase默认是没有使用数据压缩的CORPRESSION=NONE;

我们可以自己来设置,数据压缩算法有(GZIP,SNAPPY,LZO),其中GZ是hbase默认的算法,snappy要看一下hadoop是否支持这个压缩算法。
GZ的压缩占比是13%左右,压缩占比是最高的,但是同时压缩和解压缩的速度相对来说较慢一下,一般也就是使用GZ,看具体的实际情况。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5669063.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-16
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存