HBase调优：预分区与行键设计

基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowkey，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为预分区。

hash(主键) + 年月日时(2019062315)

这里只取hash(主键)的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

列族固定，只有一个，设为f，标签为分钟加上秒数：

分秒(5623)

如果需要精确到毫秒，可以为列族f设置有多个版本或者将标签设计为分秒毫秒(5623142)或者分秒.版本号(5623.1)

一个regionserver可以管理的region数量和列族数量与每个列族缓存的大小有关，计算公式如下：

我这里只分了三个region，用hbase shell命令创建表，设置预分区数量为3

下图中，可以看到，预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题。

HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。

默认地，当我们只是通过HBaseAdmin指定TableDescriptor来创建一张表时，start-end key无边界，region的size越来越大时，大到 一定的阀值，就会找到一个midKey将region一分为二，成为2个region,这个过 程称为分裂(region-split).而midKey则为这二个region的临界

1.总是往最大start-key的region写记录，之前分裂出来的region不会再被写数据，它们都处于半满状态

2.split是比较耗时耗资源

合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高

（预分区需要将hbase.hregion.max.filesize设置一个较大的值，默认是10G（0.94.3 ） 也就是说单个region 默认大小是10G）

shell

指明分割点

HexStringSplit指明分割策略，-c 10指明要分割的区域数量，-f指明表中的列族，用“:”分割。

根据文件创建分区并压缩

COMPRESSION 默认值NONE，即不使用压缩

建议采用SNAPPY压缩

官方文档给出的建表提示

TTL 默认是 2147483647 即:Integer.MAX_VALUE 值 大概是68年，这个参数是说明该列族数据的 存活时间，单位是s，超过存过时间的数据将在表中不在显示，待下次major compact的时候再彻底删除数据，

若设置MIN_VERSIONS=>’0’ TTL时间戳过期后，将全部彻底删除该family 下所有的数据，如果MIN_VERSIONS 不等于0 那将保留最新的MIN_VERSIONS个版本的数据，其它的全部删除，比如MIN_VERSIONS=>’1’ 届时将保留一个最新版本的数据，其它版本的数据将不再保存。

VERSIONS 默认是3，这个参数的意思是数据保留三个 版本，如果数据随时都在更新，或老版本的数据无价值，那将此参数设为1 能节约2/3的空间

RegionSplitter提供三个用于预分割的工具：HexStringSplit、SplitAlgorithm、UniformSplit。

HexStringSplit和UniformSplit是两个预定义的静态类，可以直接使用；而SplitAlgorithm是一个接口，需要开发人员自己实现相应的分隔策略。如果是以十六进制字符串作为行键rowkey或者行键rowkey的前缀是十六进制字符串，用HexStringSplit就比较合适；UniformSplit会把行键均匀地分割多个部分，如果行将rowkey是随机的字节数组，用UniformSplit就比较合适；或者开发者根据需要实现分割策略。

原文： https://blog.csdn.net/Nougats/article/details/72723172

---