Hive3详细教程(一)Hive3+Hadoop3环境安装

Hive3详细教程(一)Hive3+Hadoop3环境安装,第1张

Hive3详细教程(一)Hive3+Hadoop3环境安装

本次Hive使用Hive3.1.2。
本次规划为三台虚拟机结点,其中在hp301上安装mysql和hive。

主机名IP地址hp301192.168.150.31mysql/hivehp302192.168.150.32hp303192.168.150.33

使用Hive需要用到的环境是Hadoop,本次使用的是Hadoop3.3.1,其安装、使用过程详见本博客Hadoop3系列:Hadoop3详细教程
使用Hive需要在Linux虚拟机上安装Mysql,安装过程详见,本博客关于在Linux上安装和卸载MySQL的连接:Linux下MySQL安装与卸载

完成以上 *** 作后,我们可以进行Hive的安装。
以下为详细安装步骤:
1.下载apache-hive-3.1.2-bin.tar.gz上传到hp301 /apps下。
2.解压至/usr/local下

tar -zxvf  /apps/apache-hive-3.1.2-bin.tar.gz -C    /usr/local

3.为方便后续使用,对其创建一个软连接:

ln -s /usr/local/apache-hive-3.1.2-bin/ /usr/local/hive3

4.配置Hive的环境变量:
在/etc/profile.d下新建一个hive.sh

vi/etc/profile.d/hive.sh

在其中书写以下代码:

export HIVE_HOME=/usr/local/hive3
export PATH=$PATH:$HIVE_HOME/bin

使用source命令,使环境变量生效:

source /etc/profile.d/hive.sh 

6.修改配置文件
将/usr/local/hive3/conf/hive-env.sh.template改名为hive-env.sh
并在后面追加:

export JAVA_HOME=$JAVA_HOME
export HADOOP_HOME=$HADOOP_HOME
export HIVE_HOME=$HIVE_HOME

新建一个hive-site.xml,里面填写:




  
  
    javax.jdo.option.ConnectionURL
      
    jdbc:mysql://hp301:3306/metastore?createDatabaseIfNotExist=true&useSSL=false
  
  
  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  
  
  
    javax.jdo.option.ConnectionUserName
    root
  
  
  
    javax.jdo.option.ConnectionPassword
    Hive123+
  
 
  
  
	hive.metastore.schema.verification
	false
  
  
 
   hive.metastore.event.db.notification.api.auth
   false
 

  
    hive.metastore.warehouse.dir
    /user/hive/warehouse
 


7.添加Java访问MySQL的jar包
下载mysql-connector-java-5.1.47-bin.jar并上传到linux服务器,然后将其复制到/usr/local/hive3/lib下

8.初始化Hive数据库,执行命令:

schematool -initSchema -dbType mysql

此时使用navicat查看hp301的数据库,会发现多了一个metastrore的数据库,库中所有的表即使Hive存放元数据的表结构:

9.使用Hive
启动hadoop

 start-all.sh

hadoop成功启动之后,可以启动hive客户端:

hive

如图所示的命令行效果:

可以通过另一个连接查看进程,Hive实际上就是一个RunJar进程:

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/5604945.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-15
下一篇 2022-12-15

发表评论

登录后才能评论

评论列表(0条)

保存