大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界,一起学习!
感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦。
目录 一定要先看的前言1 安装Hadoop1.1 下载并解压资源1.2 配置系统变量和环境变量1.2.1 系统变量1.2.2 环境变量1.2.3测试 1.3 复制文件1.4 修改配置文件1.4.1 创建目录1.4.2 修改5个文件 1.5 格式化HDFS1.6 开启四个进程1.7 测试Hadoop DFS 2 安装Hive MySQL版本2.1 下载并解压资源2.2 配置系统变量和环境变量2.2.1 系统变量2.2.2 环境变量 2.3 Hive config配置2.4 创建目录2.5 修改 hive-env.sh2.6 修改hive-site.xml2.7 在Hadoop上创建HDFS目录2.8 创建MySQL数据库2.9 启动Hadoop2.10 启动Hive metastore服务2.11 启动Hive 结束语 一定要先看的前言
几个注意事项:
本篇博客会提供所有安装需要的资源,大家下载我提供的资料就好,避免如版本不对应等不必要的问题出现;在安装过程中会涉及一些环境配置,希望大家解压的目录地址最好和我的一样,这样既可以直接复制我提供的文本信息,也可以避免粗心导致的问题;本篇博客会提供所有大家需要更改的文本,大家直接复制即可,不要自己手打了;没装JDK的朋友可以先安装完再来。 1 安装Hadoop 1.1 下载并解压资源链接:https://pan.baidu.com/s/1gSo09Tv8GytCt6dwCr3JNA
提取码:1024
下载完如下图解压即可,注意我这里是直接解压到E盘。
补充:原有的hadoop-2.7.7/bin目录下没有文件是winutils和hadoop.dll文件的,需要下载hadooponwindows-master并将其bin覆盖原先的bin,这里我提供的资源是已经覆盖了的,可省略该 *** 作。
变量名:HADOOP_HOME
变量值:E:\Hadoop\hadoop-2.7.7
环境变量值:%HADOOP_HOME%\bin
打开CMD,输入hadoop
,如下图则为配置成功。
将E:\Hadoop\hadoop-2.7.7\bin
目录下的hadoop.dll复制到E:\Hadoop\hadoop-2.7.7\sbin
以及C:\Windows\System32
这两个目录下。
修改之前先创建以下几个空目录:
E:\Hadoop\hadoop-2.7.7\data
E:\Hadoop\hadoop-2.7.7\data\dfs
E:\Hadoop\hadoop-2.7.7\data\dfs\datanode
E:\Hadoop\hadoop-2.7.7\data\dfs\namenode
第一个是E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的core-site.xml文件。
打开该文件,找到如下位置。
将红色部分的内容更改为如下内容:
fs.defaultFS
hdfs://localhost:9000
第二个是E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的hdfs-site.xml文件。
打开该文件,找到如下位置。
将红色部分的内容更改为如下内容,注意路径是否需要更改。
dfs.replication
1
dfs.namenode.http-address
localhost:50070
dfs.namenode.dir
/E:/Hadoop/hadoop-2.7.7/data/dfs/namenode
dfs.datanode.name.dir
/E:/Hadoop/hadoop-2.7.7/data/dfs/datanode
第三个是E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的mapred-site.xml.template文件。
打开该文件,找到如下位置。
将红色部分的内容更改为如下内容。
mapreduce.framework.name
yarn
mapred.job.tracker
hdfs://localhost:9001
改完记得将mapred-site.xml.template改名为mapred-site.xml。
第四个是E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的yarn-site.xml文件。
打开该文件,找到如下位置。
将红色部分的内容更改为如下内容。
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
第五个是E:\Hadoop\hadoop-2.7.7\etc\hadoop
下的hadoop-env.cmd文件。
因为是cmd文件,所以我是用UE打开的,当然了大家可以先把后缀改成txt,修改完再更改回来。
具体来说,就是在文件的最后添加如下语句。
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=E:\JDK8
这里的E:\JDK8
是我的JDK环境变量值,大家需要根据自己的进行更改,下图是查询方法。
打开CMD,输入hdfs namenode -format
。
以管理员身份打开CMD,切换到E:\Hadoop\hadoop-2.7.7\sbin
目录下,输入命令:start-all.cmd
输入命令:jps
测试是否开启成功。
打开浏览器,在地址栏输入http://localhost:50070
查看Hadoop状态
输入http://localhost:8088
查看集群状态。
此时安装Hadoop成功。
官网下载:http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
其他下载方式:
链接:https://pan.baidu.com/s/1Or5Q5EwD-RBx5bLHzfpI-Q
提取码:1024
下载完之后,直接解压到E盘,如图。
紧接着是下载MySQL驱动。
官网下载:https://dev.mysql.com/downloads/file/?id=476197
其他下载方式:
链接:https://pan.baidu.com/s/1cl8SY-c4uFyL8MLPKtk6PA
提取码:1024
下载完后,也是直接解压到E盘。
解压完,将E:\mysql-connector-java-5.1.46
目录下的mysql-connector-java-5.1.46-bin.jar复制到E:\apache-hive-2.1.1-bin\lib
目录下,如图所示。
变量名:HIVE_HOME
变量值:E:\apache-hive-2.1.1-bin
变量值: %HIVE_HOME%\bin
如图,找到E:\apache-hive-2.1.1-bin\conf
目录下的4个文件。
按照如下方式进行更改:
2.4 创建目录hive-default.xml.template -> hive-site.xml
hive-env.sh.template -> hive-env.sh
hive-exec-log4j2.properties.template -> hive-exec-log4j2.properties
hive-log4j2.properties.template -> hive-log4j2.properties
创建以下几个空目录:
E:\apache-hive-2.1.1-bin\my_hive
E:\apache-hive-2.1.1-bin\my_hive\operation_logs_dir
E:\apache-hive-2.1.1-bin\my_hive\querylog_dir
E:\apache-hive-2.1.1-bin\my_hive\resources_dir
E:\apache-hive-2.1.1-bin\my_hive\scratch_dir
找到E:\apache-hive-2.1.1-bin\conf
下的hive-env.sh文件。
找到下图中的位置:
将其替换为如下内容:
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:\Hadoop\hadoop-2.7.7
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\apache-hive-2.1.1-bin\conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\apache-hive-2.1.1-bin\lib
注意路径问题。
这里需要修改的较多,我直接把我已经修改好的文件上传到网盘上,大家下载即可。
链接:https://pan.baidu.com/s/1p3cGCpRn7UUW96icyfUxEA
提取码:1024
这里需要注意的是,
你的Hive的解压路径是否和我一样,不一样就得更改,一共是4处。
然后还有连接数据库的问题,账号是否为root,密码是否为123456,端口是否为3306,如果不一样,就需要更改,如下。
命令如下(记得先启动Hadoop):
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
如图:
使用命令的方式:
create database if not exists hive default character set latin1;
或者用Navicat创建也可以。
以管理员身份打开CMD,切换到E:\Hadoop\hadoop-2.7.7\sbin
命令下,输入命令start-dfs.cmd
以管理员身份打开CMD,输入命令hive --service metastore
如果hive数据库下出现了许多表,则开启成功。
补充:只有第一次打开需要输入hive --service metastore
。
打开CMD,输入命令hive.cmd
这个时候就可以输入HQL语句啦。
我们输入一个create table stu(id int, name string)
然后再浏览器地址栏输入:http://localhost:50070/explorer.html#/user/hive/warehouse
创建表成功!
我已经尽可能地将安装过程详细地展现出来了,如果还是有问题的朋友,可以评论留下你的问题。
参考资料:
https://blog.csdn.net/qinlan1994/article/details/90413243
https://blog.csdn.net/chy2z/article/details/80974294
想接触数据分析实战项目和技能学习,可以关注我的数据分析专栏。
CSDN@报告,今天也有好好学习
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)