CentOS7集群安装Hive

CentOS7集群安装Hive

说明：

        1.提前安装好hadoop,参考：CentOS7搭建hadoop集群

        2.在node3上安装好Mysql，参考：CentOS7安装Mysql数据库

        3.下载hive安装包，本文使用的版本是2.1.0，下载地址

        4.准备好mysql驱动包

hive安装在集群的node3机器上

1.上传并解压

1.1新建目录

mkdir -p /develop/software
mkdir -p /develop/server

1.2上传hive安装包到/develop/software

cd /develop/software
rz

1.3解压安装包到/develop/server/

tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /develop/server/

1.4查看解压后的文件

cd /develop/server/
ll

1.5修改目录名称

mv apache-hive-2.1.0-bin/ hive-2.1.0
ll

 2.修改hive配置文件

2.1 hive的conf目录下新增hive.sh文件

cd /develop/server/hive-2.1.0/conf/
cp hive-env.sh.template hive-env.sh
ll

 2.2 修改hive.sh文件，添加hadoop环境变量和hive的conf目录地址

HADOOP_HOME=/develop/server/hadoop-2.7.5
export HIVE_CONF_DIR=/develop/server/hive-2.1.0/conf

 2.3 conf目录下新增hive-site.xml文件，配置以下内容

	
	
		javax.jdo.option.ConnectionUserName
		root
	
	
	
		javax.jdo.option.ConnectionPassword
		mysql登录密码
	
	
	
		javax.jdo.option.ConnectionURL
		jdbc:mysql://node3:3306/hive?createDatabaseIfNotExist=true&useSSL=false
	
	
	
		javax.jdo.option.ConnectionDriverName
		com.mysql.jdbc.Driver
	
	
	
		hive.metastore.schema.verification
		false
	
	
	
		datanucleus.schema.autoCreateAll
		true
	
	
	
		hive.server2.thrift.bind.host
		node3
	

3.拷贝相关jar包

3.1上传mysql驱动包到lib目录下

cd /develop/server/hive-2.1.0/lib/
rz

3.2将hive-2.1.0/jdbc/目录下的hive-jdbc-2.1.0-standalone.jar 拷贝到hive-2.1.0/lib/目录

cp /develop/server/hive-2.1.0/jdbc/hive-jdbc-2.1.0-standalone.jar /develop/server/hive-2.1.0/lib/
ls -l hive-jdbc*

4.配置hive环境变量

4.1配置环境变量

vim /etc/profile.d/my_env.sh

 配置以下内容：

# HIVE_HOME
export HIVE_HOME=/develop/server/hive-2.1.0
export PATH=$PATH:$HIVE_HOME/bin

4.2刷新环境变量

source /etc/profile

5.初始化

/develop/server/hive-2.1.0/bin/schematool -dbType mysql -initSchema

6.hive交互

6.1启动hadoop集群，myhadoop.sh是我自己封装好的hadoop启动脚本，可以参考：hadoop集群启动脚本,我的脚本是在node1上，所以在node1上运行myhadoop.sh start即可启动hadoop集群。

 6.2 hive方式交互，在node3上输入hive命令即可进入hive交互界面

6.3 beeline client方式交互

6.3.1在node1上修改core-site.xml

6.3.1.1关闭hadoop集群

6.3.1.2编辑core-site.xml文件

vim /develop/server/hadoop-2.7.5/etc/hadoop/core-site.xml

 追加以下内容

    hadoop.proxyuser.root.hosts
    *


    hadoop.proxyuser.root.groups
    *

6.3.1.3分发core-site.xml到node2和node3

cd /develop/server/hadoop-2.7.5/etc/hadoop/
scp core-site.xml node2:$PWD

scp core-site.xml node3:$PWD

6.3.1.4重新启动hadoop

 6.3.2在node3上启动metastore服务，一定要先启动这个服务，nohup 和& 表示后台启动

nohup hive  --service metastore &

 以上命令执行后如果命令行卡住直接按下回车（ENTER）就好

 

6.3.3然后启动hiveserver2服务

nohup hive --service hiveserver2 &

 6.3.4查看服务启动

jps -m

 6.3.5使用beeline进行交互

!connect jdbc:hive2://node3:10000

 6.3.6进入beeline客户端就可以执行sql命令了

 6.3.7退出客户端：!quit

7.封装hive一键 *** 作脚本，参考：shell一键启动hive脚本 

到此hive安装完成。