大数据期末考试题库 2021.12.22

大数据期末考试题库 2021.12.22

3 ZooKeeper是什么？Zookeeper的应用场景主要有哪些？
我的答案：
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby的一个开源的实现。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步的合理 *** 作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
主要应用场景为：分布式协调、分布式锁、元数据、配置信息管理、HA高可用性。

1根据要求完成，在HbaseShell中以下 *** 作：
(1)创建表t1，有1个family name：f1，版本数均为5;
(2)给表t1的添加一行记录，其中，rowkey是rowkey001，family name是f1，column name是col1，value是value01，timestamp为系统默认。
(3)查询表t1，"rowke001"中的f1下的所有列值
我的答案：
hbase(main)>create ‘t1’,{NAME=>‘f1’,VERSIONS=>5}
hbase(main)>put ‘t1’,‘rowkey001’,‘f1:col1’,‘value 01’
hbase(main)>get ‘t1’,‘rowkey001’

2 请简述在V3个节点（Master,Slave1,Slave2）的Hadoop分布式集群中安装 *** 作步骤（只描述主要 *** 作步骤，不用描述实现的细节）。
我的答案：
解压安装包；修改配置文件，设置JDk目录；配置核心组件；修改文件配置；配置计算框架；在master节点配置slaves文件；将hadoop文件复制到其它两个节点；同时在三个节点配置Hadoop启动的系统环境变量；同时在三个节点上创建数据目录。

3根据下面的要要求，在Hive Shell中执行相应的命令完成相应的 *** 作。
（1）创建一个外部表bigdata_user,其结构信息如下所示。数据在hdfs中的存放路径为：‘hdfs://localhost:9000/bigdatacase/dataset’，分隔符为‘t’
id int
uid string
item_id string
behavior_type int
item_category string
visit_date date
province string
（2）计算出表内有多少条行数据
（3）查看前10条信息
我的答案：
create external table bigdata_user(id int,uid string,item_id string,behavior_type int,item_category string,visit_date date,province string)
row format delimited
fields terminated by ‘t’
location ‘hdfs://localhost:9090/bigdatacase/dataset’;

select count(*) from bigdata_user;

select* from bigdata_user where 1=1 limit 10;