关于伪分布式hadoop集群及HBase安装的一些记录（基于林子雨老师的大数据软件安装和基础编程）

关于伪分布式hadoop集群及HBase安装的一些记录（基于林子雨老师的大数据软件安装和基础编程） 文章说明

本文主要是记录我在安装单虚拟机伪分布式hadoop集群与Hbase中遇到的一些问题与处理方式。
主要的安装步骤基于林子雨老师的大数据软件安装和基础编程。

虚拟机

我采用的虚拟机工具是VMware WorkStations，没有选用VirtualBox（这里与林子雨老师的教程不同）
下面是我的虚拟机配置：

需要说明的是网络配置没有用桥接（在多个虚拟机构建伪分布式或者真分布式的时候是需要桥接的，同时还需要设置VMware的网关和本地电脑的网关。）
映像文件用的林子雨老师的(ubuntukylin-16.04-desktop-amd64.iso),林子雨老师的教程里面可以下载使用，感觉这个版本的Ubuntu比较稳定，没出现奇奇怪怪的问题。

Ubuntu设置

自我感觉虚拟机配置是比较灵活的，只要是Ubuntu系统（Centos7.6我也装过，自己加了一个图形化界面，三台虚拟机，最后在Hbase处崩了，至今没有解决那个问题），然后能上网就行了。
Ubuntu的设置还是需要好好弄弄的。

首先就是VMwareTools最好装一下，能复制命令进来，提升安装集群的速度。
“虚拟机”那项就有安装的选项。

把那个光盘文件打开，压缩包提取到任意文件夹，在终端用命令解压，运行就行（根据虚拟机的提示来就行了）

运行下面的文件，除了第一个输入yes，其余都Enter就行，最后装好的标志就是虚拟机能填满屏幕。

然后系统语言那块需要注意一下，这里不多说了。

用户问题

这个问题很关键，我就在这里踩坑了……

一般来说，我们在安装Ubuntu的时候用户名没有用hadoop，因此需要先创建一个，然后最重要的是：

要把原用户注销掉，要不然后面的java-api代码根本跑不起来，老是权限错误，即使改权限也会有各种各样的问题，作为一个新手，我确实有点hold不住。所以我直接把其他用户注销了。

最后需要做的就是把root替换hadoop输一遍，密码自定。这里是为了后续文件传输做铺垫。

文件传输

自己电脑里面的文件要传进来，安装Tools应该大部分都行，但是还是有的文件进不来（比如进不去/etc），我认为是权限的问题.我采用的finalshell进行传输的。Xshell也行,但是那个自动捆绑安装软件是真的恶心！
然后需要注意两件事：

这里要用root用户（第一次连接的时候用hadoop用户也是能传输文件的，但是后面就不行了，不过root用户就没这个问题），上面那个root替换hadoop就是为了这一步。
但是直接连接是连不上的，因为Ubuntu里面的文件禁止了用root权限的ssh登录，然后连接时会一直让你输密码，然后连不上……
解决方法如下：
找到/etc/ssh/sshd_config文件（用sudo vim 编辑最好）

注意红框的修改。

然后就能正常使用root用户连接并传输文件了。

Eclipse的安装与使用

这个直接下载压缩包，用finalshell传进来，解压就行了。

需要注意的是：
如果打不开，可以修改右边的eclipse.ini文件：（用sudo vim 编辑）

在openfile和-vmargs之间加入两项：
后面那个是jdk的/jre/bin的路径
之后就按照这个教材来就行了：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

Hbase

在上述hadoop集群正确安装后，hbase基本没啥问题了，照着林子雨老师的教程来就行了。

我的问题（目前尚未解决）

我最开始采用三台centos7.6虚拟机部署集群，然后每台虚拟机都只有一个用户：node01、node02、node03。
网络连接用的桥接网络，每台虚拟机都能上网，并且能互相ping通。hadoop集群安装没问题，jps能输出正确信息，eclipse也能正常运行。
问题出在Hbase上。
开启Hbase后（5s内）还是挺正常的

**5s后：HMaster消失了，即自我关闭了。**查看日志文件：

我尝试了网上不少方案，结果没解决这个问题，暂时性的搁置了，如果有哪位大佬解决了这个问题，还望不吝赐教！！

最后就是我重新按照林子雨老师的教程重新安装了hadoop集群和hbase，按照教程为了解决上述问题，一共就用了一个半小时左右，但是我弄那个HMaster自动关闭的问题花了接近两天的时间还没有解决……真的吐了。
其实主要是我刚刚进入这个领域，什么都不怎么会，不知道内部原理，然后就是试各种方法，希望大三结束后能够多懂一些内核。

最后说明：本文是我在学习大数据系统的时候，根据林子雨老师的大数据软件安装与基础编程安装hadoop集群和hbase时遇到的一些问题时的解决方案的记录，侵删。