hadoop环境服务修复及hive整合

hadoop环境服务修复及hive整合 hadoop环境服务修复

还没上班就看群里说园区断电，然后就有服务器断电后

启动hadoop集群服务显示

（大多数原因是某个组件崩了）

-- process information unavailable

运行以下命令

rm -rf /tmp/hsperfdata_*
然后重启服务

在一键启动hadoop后（./start-all.sh ），服务没起来，额，似乎没啥用

emm 服务关闭 后 在重新启动后 发现 没有namenode

那就查看日志

和昨天晚上 的错误 如出一辙 ，namnode元数据 有问题，网上查看很多解决方法，目前我用的这种 最高效，但是伴随着的弊端就是 有重要数据就无法恢复了，大家可以找到自己合适的方法进行 *** 作；于是 我还是把core-size.xml中配置的文件路径对应的文件全部删除，之后格式化

我的 路径 是这个
/export/servers/hadoop-2.7.2/hadoopDatas
于是 
rm -rf /export/servers/hadoop-2.7.2/hadoopDatas/
********************
 提示：删除命令在充分沟通并同意的情况下才能使用，慎用,我这边是测试环境没啥重要数据
********************

格式化
hadoop namenode -format  

然后启动发现

./start-all.sh

emm 服务都有了 证明启动成功了

再查看其他两个机器 的 jps

初步判断已经启动 了

再看webui

输入 机器IP:50070
因为 需要连接 vpn 使用机器 ip进行连接 ，本机 的话直接node1：50070 了

拿出几点自认为判断是否成功的，目前来看是没啥问题了

over！！！

查看 hdfs

hdfs  dfs  -ls  /

发现没报错 ，正常 ，主要是没数据啦

hadoop整合hive

那开始hadoop整合hive，之前 版本 是 1.2.1 是可用 的

因为之前的profile配置都有整 过 ，但是hadoop重新弄过了 ，那 hive的 相关配置也顺便 过一下

 vi /etc/profile

vim hive-env.sh

vim   hive-size.xml

hadoop格式化后hdfs路径可能找不到或者不存在了，还是创建下吧

新建目录
hdfs dfs  -mkdir -p /user/hive/warehouse   
mkdir /export/servers/hive-1.2.1-bin/tmp

设置权限
hdfs  dfs  -chmod 733 /tmp
hdfs  dfs  -chmod 733 /user/hive/warehouse

## 启动hive并测试
a) 启动hive: hive
b) 查看hive数据表： show  tables;

然后再测试使用脚本进入hive：

expect /export/script/beenline_hive.exp
即 beeline连接hiveserver2
--执行

应该是服务没启动 很尴尬

先启动 metastore 服务

后台启动   
nohup ./hive --service metastore &

再启动hive2服务

后台启动   
nohup ./hive --service hiveserver2 &

jps查看是否 开启 runjar

在beeline连接hiveserver2

expect /export/script/beenline_hive.exp

最后用数据库连接工具连接验证

我用的 连接工具 是 DBvaver 根据自己喜好连接
希望额可以 帮助到大家！！！
以上 over !!!