本次使用到了四台虚拟机用以搭建hadoop集群。我们可以先配置一台,然后剩余三台克隆该虚拟机,修改配置就可以了。
目录
CentOS配置完全分布式Hadoop
一、先决条件
二、配置的四台虚拟机需求如下
三、配置基础环境
1、设置时间同步
(1)通过命令同步时间(待添加)
(2)通过虚拟机的设置同步时间
2、安装jdk
3、配置hosts文件
(1)修改虚拟机主机名
(2)CentOS7
(3)Windows
3、复制虚拟机镜像,固定IP地址,修改主机名
(1)复制虚拟机镜像
(2)固定IP地址
(3)修改主机名
四、设置免密登录
五、安装Hadoop及其配置
六、同步配置文件到其他节点
七、格式化
八、启动并测试
1、启动
2、测试
(1)namenode查看
(2)SNN查看
(3)异常
一、先决条件
1、一台CentOS7虚拟机;
2、Xftp;
3、Xshell(因为Xshell支持复制粘贴);
4、为CentOS虚拟机设置固定IP,详情见(待准备);
二、配置的四台虚拟机需求如下点击虚拟机,然后点击“设置”。
进入到“设置”后,点击“选项”,然后点击“VMware Tools” ,点击右侧的“VMware Tools功能”的“将客户机与主机同步”,然后点击“确定”。
2、安装jdk详情见CentOS配置jdk8及tomcat8_Delusion06的博客-CSDN博客
3、配置hosts文件 (1)修改虚拟机主机名键入如下命令:
vim /etc/hostname
输入你要修改的主机名,按esc键,输入“:wq”保存并退出。
再次输入以下命令重启系统:
reboot
键入命令查看主机名:
hostname
如图所示:
(2)CentOS7修改hosts文件,需要进入“/etc/hosts”
vim /etc/hosts
按i键键入以下内容:
192.168.70.128 node1 192.168.70.129 node2 192.168.70.130 node3 192.168.70.131 node4
效果如图所示:
(3)Windows找到“C:WindowsSystem32driversetc”下的hosts文件,用记事本进行编辑,
C:WindowsSystem32driversetc
输入如下内容:
192.168.70.128 node1 192.168.70.129 node2 192.168.70.130 node3 192.168.70.131 node4
按Ctrl+s保存,出现如下提示框:
点击是,修改成功。
3、复制虚拟机镜像,固定IP地址,修改主机名 (1)复制虚拟机镜像克隆无法为处于开启或挂起状态的虚拟机创建克隆,因此需要关闭虚拟机。
右键单击需要克隆的虚拟机,点击“管理”,然后点击“克隆”。
按照下面所示步骤进行 *** 作:
点击“下一步”。
选择“虚拟机中的当前状态”,点击“下一步”。
选择“创建完整克隆”,点击“下一步”。
在这一步可以修改虚拟机的名称,还可以修改存储路径,然后点击“完成”。
待出现如下界面,则克隆成功。
克隆后,效果图如下:
(2)固定IP地址 (3)修改主机名参照“3、配置hosts文件(1)修改虚拟机主机名”。
按照以上方法克隆三台虚拟机,分别命名为node2,node3,node4。
四、设置免密登录 五、安装Hadoop及其配置 六、同步配置文件到其他节点1、同步到node2上
scp -r hadoop271/ node2:/usr/local/
2、同步到node3上
scp -r hadoop271/ node3:/usr/local/
3、同步到node4上
scp -r hadoop271/ node4:/usr/local/七、格式化
键入以下命令:
hdfs namenode -format八、启动并测试 1、启动
键入如下命令:
start-dfs.sh
运行结果如下:
2、测试 (1)namenode查看在浏览器输入地址“http://node1:50070”,出现如下界面则成功。
(2)SNN查看在浏览器访问链接“http://node2:50090”,如果出现以下界面,则成功。
(3)异常如果访问不到,请关闭node1和node2的防火墙。
以下命令可供参考:
查看防火墙状态:
systemctl status firewalld
关闭防火墙:
systemctl stop firewalld.service
禁止防火墙:
systemctl disable firewalld.service
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)