为了数据的持久化和恢复;3)HregionServer将数据写到内存(MemStore);4)反馈Client写成功。
数据flush过程1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据;2)并将数据存储到HDFS中;3)在HLog中做标记点。
数据合并过程1)当数据块达到4块,Hmaster将数据块加载到本地,进行合并;2)当合并的数据超过256M,进行拆分,将拆分后的Region分配给不同的HregionServer管理;3)当HregionServer宕机后,将HregionServer上的hlog拆分,然后分配给不同的HregionServer加载,修改.META;4)注意:HLog会同步到HDFS。
读流程1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。
meta中又存储了用户表的region信息;2)根据namespace、表名和rowkey在meta表中找到对应的region信息;3)找到这个region对应的regionserver;4)查找对应的region;5)先从MemStore找数据,如果没有,再到StoreFile上读(为了读取的效率)。
Hmaster的职责1)管理用户对Table的增、删、改、查 *** 作;2)记录region在哪台Hregion server上;3)在Region Split后,负责新Region的分配;4)新机器加入时,管理HRegion Server的负载均衡,调整Region分布;5)在HRegion Server宕机后,负责失效HRegion Server 上的Regions迁移。
Hregionserver的职责1)HRegion Server主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBASE中最核心的模块。
2)HRegion Server管理了很多table的分区,也就是region。
Client职责1)HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信2)管理类 *** 作:Client与HMaster进行RPC;3)数据读写类 *** 作:Client与HRegionServer进行RPC。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)