大数据技能竞赛(5)

大数据技能竞赛(5)

安装hive

• 5.1slave2 上安装 MySQL server
• • 1.配置过本地源了，安装 MySQL Server
  • • 安装 MySQL
  • 2.启动服务
  • • 1）重载所有修改过的配置文件
    • 2）开启服务
    • 3）开机自启
  • 3.登陆 MySQL
  • • 1）获取初密码
    • 2）登陆 MySQL
  • 4.MySQL 密码安全策略设置
  • • 1）设置密码强度为低级
    • 2）设置密码长度
    • 3）修改本地密码
    • 4）退出
  • 5. 设置远程登录
  • • 1）以新密码登陆 MySQL
    • 2）创建用户
    • 3）允许远程连接
    • 4）刷新权限：
  • 6.创建数据库 hongyaa；
• 5.2 数据仓库下载安装
• • 1. 下载解压
  • 2. 设置系统变量
  • 3. 设置 HIVE 运行环境
  • • 对应设置如下：
    • • 配置 Hadoop 安装路径
      • 配置 Hive 配置文件存放路径
      • 配置 Hive 运行资源库路径
  • 4. jline 版本冲突问题
• 5.3 hive 元数据配置到 MySQL(服务器端 slave1）
• • 1. 驱动拷贝
  • 2. Slave1 作为服务器端配置 hive
  • • 1）修改 hive-site.xml 文件
• 5.4 Master 作为客户端配置 hive
• • • 1）hive-site.xml 配置如下：
• 5.5 成功启动 Hive
• • 1.初始化数据库
  • 2.启动 hive server 服务
  • 3.启动 hive client
  • 4.创建数据库 hongyaa

slave2 安装 mysql
server 用于存放元数据
slave1 作为hive
server 作为 thrift 服务器
master 作为 client 客户端进行 *** 作。

5.1slave2 上安装 MySQL server 1.配置过本地源了，安装 MySQL Server 安装 MySQL

yum -y install mysql-community-server

2.启动服务 1）重载所有修改过的配置文件

systemctl daemon-reload

2）开启服务

systemctl start mysqld

3）开机自启

systemctl enable mysqld

3.登陆 MySQL

安装完毕后，MySQL 会在 /var/log/mysqld.log 这个文件中会自动生成一个随机的密码，获取得这个随机密码，以用于登录 MySQL 数据库
第一次启动后会有个初始化的过程，会产生root 账户的随机密码

1）获取初密码

grep "temporary password" /var/log/mysqld.log

2）登陆 MySQL

mysql -uroot -p

4.MySQL 密码安全策略设置 1）设置密码强度为低级

set global validate_password_policy=0;

2）设置密码长度

set global validate_password_length=4;

3）修改本地密码

alter user 'root'@'localhost' identified by '123456';

4）退出

q

密码强度分级如下：
0 为 low 级别，只检查长度；
1 为 medium 级别（默认），符合长度为 8，且必须含有数字，大小写，特殊字符;
2 为 strong 级别，密码难度更大一些，需要包括字典文件。
密码长度最低长为 4，当设置长度为 1、2、3 时，其长度依然为 4。

5. 设置远程登录 1）以新密码登陆 MySQL

mysql -uroot -p123456

2）创建用户

create user 'root'@'%' identified by '123456';

将 host 字段的值改为%就表示在任何客户端 在任何客户端
机器上能以 机器上能以 root 用户登录到 MySQL 服务器 服务器，建议在开发时设为%

3）允许远程连接

grant all privileges on *.* to 'root'@'%' with grant option;

4）刷新权限：

flush privileges;

6.创建数据库 hongyaa； 5.2 数据仓库下载安装 1. 下载解压

同样 slave1 上建立文件夹/usr/hive，然后 master 中将安装包远程复制到 slave1

mkdir -p /usr/hive && cd /usr/hive
wget http://172.16.47.240/bigdata/bigdata_tar/apache-hive-2.1.1-bin.tar.gz
tar -zxvf /usr/hive/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
rm -rf /usr/hive/apache-hive-2.1.1-bin.tar.gz

也可以使用如下命令：

mkdir -p /usr/hive && cd /usr/hive/ && wget
http://172.16.47.240/bigdata/bigdata_tar/apache-hive-2.1.1-bin.tar.gz && tar -zxvf
/usr/hive/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/ && rm -rf
/usr/hive/apache-hive-2.1.1-bin.tar.gz

2. 设置系统变量

修改/etc/profile 文件设置 hive 环境变量。（master 和 slave1 都执行）

vim /etc/profile
#hive
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
 生效环境变量：source /etc/profile

3. 设置 HIVE 运行环境

cd $HIVE_HOME/conf && vim hive-env.sh

对应设置如下： 配置 Hadoop 安装路径

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

配置 Hive 配置文件存放路径

export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf

配置 Hive 运行资源库路径

export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.1.1-bin/lib

4. jline 版本冲突问题

由于客户端需要和 hadoop 通信，所以需要更改 Hadoop 中 jline 的版本，即保留一个高版
本的 jline-jar 包

cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/

5.3 hive 元数据配置到 MySQL(服务器端 slave1） 1. 驱动拷贝

因为服务端需要和 Mysql 通信，所以服务端需要将 Mysql 的依赖包放在 Hive 的 lib 目录
下。
mysql-connector-java 是 MySQL 的 JDBC 驱动包，用 JDBC 连接 MySQL 数据库时必须使
用该 jar 包。

cd $HIVE_HOME/lib && wget
http://172.16.47.240/bigdata/bigdata_tar/mysql-connector-java-5.1.47-bin.jar

2. Slave1 作为服务器端配置 hive

cd $HIVE_HOME/conf

hive 配置可以参考官方文档：
https://cwiki.apache.org/confluence/display/Hive/AdminManual+metastore+Administration

1）修改 hive-site.xml 文件

hive.metastore.warehouse.dir
/user/hive_remote/warehouse



javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver



javax.jdo.option.ConnectionURL
jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&useSSL=false



javax.jdo.option.ConnectionUserName
root



javax.jdo.option.ConnectionPassword
123456

5.4 Master 作为客户端配置 hive

和 slave1 中配置方式类似，直接进入 conf，进行设置。
Hive 服务和 metastore 在不同的进程内，可能是不同的机器，该模式需要
将 hive.metastore.local 设置为 false
将 hive.metastore.uris 设置 metastore 服务器 URL
端口设定为 9083

1）hive-site.xml 配置如下：

hive.metastore.warehouse.dir
/user/hive_remote/warehouse



hive.metastore.local
false



hive.metastore.uris
thrift://slave1:9083

5.5 成功启动 Hive 1.初始化数据库

slave1 上：

schematool -dbType mysql -initSchema

2.启动 hive server 服务

设置成远程模式之后必须保证先启动 metastore 服务或者进程，之后才能进行开启客户端。
Hive 服务和 metastore 在不同的进程内，可能是不同的机器，该模式需要将 hive.metastore.local 设置为 false，将 hive.metastore.uris 设置为 metastore 服务器 URL

hive --service metastore

3.启动 hive client

hive

4.创建数据库 hongyaa

hive>create database hongyaa;