HBase总复习

HBase总复习,第1张

HBase总复习

Hbase总复习
  • 一、基础知识记忆
  • 二、知识简答
    • 1、Hbase 的数据模型
    • 2、Hbase 分布式数据库与传统数据库的区别。
    • 3、Hbase 架构
    • 4、Hbase读数据流程
    • 5、Hbase写数据流程
  • 三、知识分析解答
    • 1、下面关系表在Hbase中的物理模型和逻辑模型。
      • 逻辑模型
      • 物理模型
    • 2、在Hbase Shell交互界面中,可通过一系列Shell命令 *** 作Hbase,下面通过一张表列举 *** 作Hbase表常见的Shell命令。
    • 3、写出下面Hbase *** 作的shell命令
    • 4、Hbase 是由Java语言开发的,它对外提供了Java API的接口。
  • 四、编写程序代码:

一、基础知识记忆

1、非关系型数据库又被称为NoSQL (Not only SQL ),NoSQL仅仅是一个概念,泛指非关系型的数据库,区别于关系数据库,它们不保证关系数据的ACID特性。
2、NoSQL的四大类型
1)键值数据库 2)列族数据库 3)文档数据库 4)图形数据库
3、Hbase起源于2006年Google发表的BigTable论文
4、Hbase是一种构建在HDFS之上的分布式,面向列的存储系统。
5、HbaseShell提供大量 *** 作Hbase的命令,通过Shell命令很方便地 *** 作Hbase数据库
6、Hbase 是面向列的、是分布式的、是一种 NoSQL数据库。
7、Hbase 是一个类似BigTable的分布式数据库,它是一个稀疏的长期存储的(存储在硬盘上)、多维度的、排序的映射表,这张表的索引是行关键字、列关键字和时间戳,Hbase 中的数据都是字符串,没有类型。
8、Hbase表中的单元格是由行,列族,列标识符,值和代表值版本的时间戳组成。
9、Hbase同样是主从分布式架构,它隶属于Hadoop生态系统,由以下组件组成:Client,ZooKeeper, HMaster, HRegionServer 和HRegion;在底层, 它将数据存储于HDFS中
10、Hbase 将数据以Hfile的形式存放在HDFS中。.
11、Hbase 依赖Zookeeper提供消息通信机制。
12、Hbase 集群部署完成后,执行start-hbase. sh命令,启动Hbase集群,执行hbase shell 命令,进入Hbase Shell 交互界面。
13、在老版本中,客户端首次查询Hbase数据库时,需要从- ROOT-表开始查找,新版本需要从. meta开始查询
14、当MemStore存储的数据达到-一个默认阈值128M时的,MemStore 里面的数据就会被flush到StoreFile文件。
15查看Hbase中存在哪些表的shell命令为list,查看当前Hbase的版本信息的shell命令为version。
16、Hbase表的数据按照行键RowKey的字典序进行排列,并且切分多个HRegion存储。每个Region存储的数据是有限的,当Region增大到-一个阀值( 128M)时,会被等分切成两个新的Region。一个HRegionServer.上可以存储多个Region。每个Region也只能被分布到1个HRegion Server上。
17、Client 通过ZooKeeper、“-ROOT-” 表及“. meta.”表查找到目标数据所在的RegionServer地址。Client通过请求RegionServer地址来查询目标数据。RegionServer定位到目标数据所在的Region,然后发出查询目标数据的请求。Region先在MemStore中查找目标数据,找到则返回;找不到,继续在StoreFile中查找。.
18、Hbase分布式数据库的特点:容量大、面向列、数据多版本、稀疏性、可扩展性、高可靠性、高性能和数据类型单一。
19、Hbase 中RowKey表示行键,每个Hbase表中只能有-一个行键。RowKey 在Hbase中以字典排序的方式存储。在Hbase内部,RowKey保存为字节数组。
20、Hbase 与RDBMS的区别在于: Hbase的Cell (每条数据记录中的数据项)是具有版本描述的,行是有序的,列在所属列族存在的情况下,由客户端自由添加。

二、知识简答 1、Hbase 的数据模型

(1) RowKey: 表示行键,每个Hbase表中只能有一个行键,它在Hbase中以字典序的方式存储。由RowKey是Hbase表的唯一标识, 因此Row Key的设计非常重要。
(2) Column (列): Hbase表的列是由列族名、限定符以及列名组成的,其中":"为限定符。创建Hbase表不需要指定列,因为列是可变的,非常灵活。
(3) Column Family (列族):在Hbase中,列族由很多列组成。在同一个表里,不同列族有完全不同的属性,但是同一个列族内的所有列都会有相同的属性,而属性都是定义在列族上的。
(4) Timestamp ( 时间戳):表示时间戳,记录每次 *** 作数据的时间,通常记作数据的版本号。
(5) Cell (单元格):根据行键、列族和列可以映射到-一个对应的单元格,单元格是Hbase存储数据的具体地址。

2、Hbase 分布式数据库与传统数据库的区别。

(1) 存储模式:传统数据库中是基于行存储的;而Hbase是基于列进行存储的。.
(2) 表字段:传统数据库中的表字段不超过30个;而Hbase中表字段不作限制。
(3) 可延伸性:传统数据库中的列是固定的,需要先确定列有多少才会增加数据去存储、而Hbase是根据数据存储的大小去动态的增加列,列是不固定的。

3、Hbase 架构

(1) Client: 它通过RPC协议与Hbase通信。
(2) Zookeeper:即分布式协调服务,在Hbase 集群中的主要作用是监控HRegionServer的状态。
(3) HMaster: 即Hbase的主节点,用于协调多个HRegion Server, 主要用于监控HRegion Server 的状态以及平衡HRegion Server 之间的负载。
(4) HRegion Server:即Hbase的从节点,它包括了多个HRegion,主要用于响应用户的I/0请求,向HDFS文件系统读写数据。
(5) HRegion:即Hbase表的分片,每个Region中保存的是Hbase表中某段连续的数据。
(6) Store: 每一个HRegion 包含一或多个Store。 每个Store用于管理一个Region_上的一个列族。
(7) MemStore: 即内存级缓存,MemStore 存放在store中的,用于保存修改的数据. (即KeyValues形式)。
(8) StoreFile: MemStore中的数据写到文件后就是StoreFile,StoreFile 底层是以HFile文件的格式保存在HDFS上。
(9) HFile: 即Hbase中键值对类型的数据均以HFile文件格式进行存储。
(10) HLog: 即预写日志文件,负责记录Hbase修改。当Hbase读写数据时,数据不是直接写进磁盘,而是会在内存中保留一段时间。

4、Hbase读数据流程

5、Hbase写数据流程

三、知识分析解答 1、下面关系表在Hbase中的物理模型和逻辑模型。

逻辑模型 RowKey列族 CF1列族 CF2id=1CF1:name="张三"CF2:sex="男"CF1:age="35"CF2:jobs="教师"id=2CF1:name="李丹"CF2:sex="女"CF1:age="18"CF2:jobs="学生"id=3CF1:name="John"CF2:sex="男"CF1:age="26"CF2:jobs="IT工程师" 物理模型 RowKey列单元格id=1CF1:name张三id=1CF1:age35id=1CF2:sex男id=1CF2:jobs教师id=2CF1:name李丹id=2CF1:age18id=2CF2:sex女id=2CF2:jobs学生id=3CF1:nameJohnid=3CF1:age26id=3CF2:sex男id=3CF2:jobsIT工程师 2、在Hbase Shell交互界面中,可通过一系列Shell命令 *** 作Hbase,下面通过一张表列举 *** 作Hbase表常见的Shell命令。

3、写出下面Hbase *** 作的shell命令

(1)创建表,表名为’hbasetest’,列族名为’cf1’、’cf2’;

create 'hbasetest',{NAME => 'cf1'},{NAME => 'cf2'}

(2)创建表,表名为’hbasetest’,列族名为’cf1’、版本数为2

create 'hbasetest', {NAME =>'cf1', VERSIONS=>2}

(3)修改表,表名为’hbasetest’,添加一个列族‘CF3’;

alter 'hbasetest',{NAME => 'CF3'}

(4)向hbasetest表插入一条数据,rowkey 为0001,列族名为’cf1’,列名为’name’,值为’Tom’;

put 'hbasetest','0001','cf1:name','Tom'

(5)对hbasetest表进行全表扫描;

scan 'hbasetest'

(6)删除hbasetest表中rowkey为0001的这行数据;

deleteall 'hbasetest','0001'

(7)删除hbasetest表;

disable 'hbasetest'
drop 'hbasetest'

(8)统计hbasetest表的行数。

count ‘hbasetest’
4、Hbase 是由Java语言开发的,它对外提供了Java API的接口。

四、编写程序代码:

1、通过Hbase Java API接口创建表程序

package com.simple.create;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HbaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.HbaseAdmin;

public class CreateTable {
	public static void main(String[] args) throws IOException {
	//一、配置文件设置
    //创建用于客户端的配置类实例
	    Configuration config = HbaseConfiguration.create();
        //设置连接zookeeper的地址
        //hbase客户端连接的是zookeeper
        config.set("hbase.zookeeper.quorum", "192.168.1.2:2181");     
        //二、表描述相关信息
        //创建表描述器并命名表名为account1
        HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf("account1"));
        //创建列族描述器并命名一个列族名为baseInfo
        HColumnDescriptor columnDesc1 = new HColumnDescriptor("baseinfo");
        //设置列族的最大版本数
        columnDesc1.setMaxVersions(5);
        //创建列族描述器并命名一个列族名为baseInfo
        HColumnDescriptor columnDesc2 = new HColumnDescriptor("contacts");
        //设置列族的最大版本数
        columnDesc2.setMaxVersions(3);
        //添加一个列族给表
        tableDesc.addFamily(columnDesc1);
        //添加一个列族给表
        tableDesc.addFamily(columnDesc2);       
        //三、实例化HbaseAdmin、创建表
        //根据配置文件创建HbaseAdmin对象
        HbaseAdmin hbaseAdmin = new HbaseAdmin(config);
        //创建表
        hbaseAdmin.createTable(tableDesc);       
        //四、释放资源
        hbaseAdmin.close();
        }
        }

2、通过HbaseJavaAPI接口表中插入数据程序

package com.simple.put;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HbaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

public class PutTest {
	public static void main(String[] args) throws IOException {
       // 一、配置文件设置
       // 创建用于客户端的配置类实例
       Configuration config = HbaseConfiguration.create();
       // 设置连接zookeeper的地址
       // hbase客户端连接的是zookeeper
       config.set("hbase.zookeeper.quorum", "192.168.1.2:2181");
       // 二、 获得要 *** 作的表的对象。
       // 第一个参数"config"为配置文件;第二个参数"account1"为数据库中的表名。
       // (注:"account1"为上节中所创建的表)
       HTable table = new HTable(config, "account1");
       // 三、设置Put对象
       // 设置行健值为"rk001"
       Put put = new Put(Bytes.toBytes("rk001"));
       // 设置列族、列、cell值
       // 其中"baseinfo"位列族;"name"为列;"ZhangFei"为cell值
       put.add(Bytes.toBytes("baseinfo"), Bytes.toBytes("name"), Bytes.toBytes("ZhangFei"));
       // 四、插入一行数据
       table.put(put);
       // 五、释放资源
       table.close();
    }
}

3、通过Hbase Java API 接口查询表中数据

package com.simple.get;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HbaseConfiguration;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.util.Bytes;

public class GetTest {
	public static void main(String[] args) throws IOException {
    	//  一、配置文件设置
        //  创建用于客户端的配置类实例
        Configuration config = HbaseConfiguration.create();
        //  设置连接zookeeper的地址
        //  hbase客户端连接的是zookeeper
        config.set("hbase.zookeeper.quorum",  "192.168.1.2:2181");
        //  二、 获得要 *** 作的表的对象。
        //  第一个参数"config"为配置文件;第二个参数"account1"为数据库中的表名。
        HTable table = new HTable(config, "account1");
        //  三、设置Get对象
        //  设置要查找的行健值为"rk001"
        Get get = new Get(Bytes.toBytes("rk001"));
        //  四、根据Get对象获取查询结果Result对象
        Result result = table.get(get);
        //  五、设置要查询的列族名、列名
        //  第一个参数"baseinfo"为列族名;第二个参数"name"为列名。
        byte[] rk001_vals = result.getValue(Bytes.toBytes("baseinfo"),  Bytes.toBytes("name"));
        //  六、将结果转换为字符串并打印到控制台
        System.out.println("行健为rk001、列族为baseinfo、列为name的值==>"+Bytes.toString(rk001_vals));
        //  七、释放资源
        table.close();
	}
}

4、通过Hbase Java API接口过滤表中数据

package com.simple.scan;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.hbase.HbaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

public class ScanSettingTest {
	public  static void main(String[] args) throws IOException {
    	//  一、配置文件设置
        //  创建用于客户端的配置类实例
        Configuration  config = HbaseConfiguration.create();
        //  设置连接zookeeper的地址
        //  hbase客户端连接的是zookeeper
        config.set("hbase.zookeeper.quorum",  "192.168.1.2:2181");
        //  二、 获得要 *** 作的表的对象。
        //  第一个参数"config"为配置文件;第二个参数"account1"为数据库中的表名。
        //  (注:"account1"为上节中所创建的表)
        HTable table = new HTable(config, "account1");
        //  三、创建Scan对象
        //  第一个参数"rk001"为行健的开始位置;第二个参数"rk003"为行健的结束位置
        Scan  scan = new Scan(Bytes.toBytes("rk001"),  Bytes.toBytes("rk003"));
        //  四、根据Scan对象获取查询结果ResultScanner对象resultScanner
        ResultScanner  resultScanner = table.getScanner(scan);
        //  遍历打印列族为baseinfo、列为name的值
        for  (Result result : resultScanner) {
        	//  将结果转换为字符串并打印到控制台
            System.out.println("查询account1中指定范围内的数据==>"+Bytes.toString(result.getValue(Bytes.toBytes("baseinfo"),  Bytes.toBytes("name"))));
         }
         //  五、释放资源
         table.close();
	}
}

5、通过Hbase Java API接口统计表中行数

package com.simple.scan;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.HbaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.coprocessor.AggregationClient;
import org.apache.hadoop.hbase.client.coprocessor.LongColumnInterpreter;
import org.apache.hadoop.hbase.util.Bytes;

public void RowCount(String tablename) throws Exception,Throwable{
	//提前创建conf
    HbaseAdmin admin = new HbaseAdmin(conf);
    TableName name=TableName.valueOf(tablename);
    //先disable表,添加协处理器后再enable表
    admin.disableTable(name);
    HTableDescriptor descriptor = admin.getTableDescriptor(name);
    String coprocessorClass = "org.apache.hadoop.hbase.coprocessor.AggregateImplementation";
	if (! descriptor.hasCoprocessor(coprocessorClass)) {
    	descriptor.addCoprocessor(coprocessorClass);
    }
    admin.modifyTable(name, descriptor);
    admin.enableTable(name);

    //提高RPC通信时长
    conf.setLong("hbase.rpc.timeout", 600000);
    //设置Scan缓存
    conf.setLong("hbase.client.scanner.caching", 1000);
    Configuration configuration = HbaseConfiguration.create(conf);
    AggregationClient aggregationClient = new AggregationClient(configuration);
    Scan scan = new Scan();
    long rowCount = aggregationClient.rowCount(name, new LongColumnInterpreter(), scan);
	System.out.println(" rowcount is " + rowCount);
}

6、通过Hbase Java API 接口删除表中数据

package com.simple.del;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HbaseConfiguration;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.util.Bytes;

public class DelTest {
    public static void main(String[] args) throws IOException {
       // 一、配置文件设置
       // 创建用于客户端的配置类实例
       Configuration config = HbaseConfiguration.create();
       // 设置连接zookeeper的地址
       // hbase客户端连接的是zookeeper
       config.set("hbase.zookeeper.quorum", "192.168.1.2:2181");
       // 二、 获得要 *** 作的表的对象。
       // 第一个参数"config"为配置文件;第二个参数"account1"为数据库中的表名。
       // (注:"account1"为上节中所创建的表)
       HTable table = new HTable(config, "account1");
       // 三、设置Delete对象
       // 设置行健值为"rk002"。要删除的一行数据的行健为"rk002"
       Delete del = new Delete(Bytes.toBytes("rk002"));
        // 四、删除一行数据
       table.delete(del);
       // 五、释放资源
       table.close();
    }
}

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5688492.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存