hadoop一台主机给多个集群传数

hadoop一台主机给多个集群传数,第1张

将生产环境集群的数据拷贝到测试集群,就需要我们在多个集群之间进行数据的远程拷贝,hadoop自带也有命令可以实现这个功能。

1、本地文件拷贝。

2、集群之间的数据拷贝。快照就是相当于对的hdfs文件系统做一个备份,通过快照对指定的文件夹设置备份,但是添加快照之后,并不会立即复制所有文件,而是指向同一个文件。当写入发生时,才会产生新文件。快照的管理是运维人员来做。

本人应用的VMware Workstation 9.0 ,本人首先Ubunutu12.04 虚拟机slave1.Hadoop,然后安装好Oracle jdk7 后,发现jdk7安装的过程相当的漫长(和本人的网速有关),如果每台虚拟机节点都一一这么装下去,甚是浪费生命。然后本人突发奇想,可以通过克隆功能去快速复制已经创建的虚拟机,然后在修改IP配置和主机名称,这样就节省了大量时间。

一下是本人的步骤:

(1)选择到slave1.hadoop虚拟机,切记不要打开电源,在VMware菜单下选择点击: 虚拟机—>管理—>克隆

(2)看到如下窗口后,下一步

选择下一步,

选择:创建一个完整的克隆(F),然后点击 下一步

修改虚拟名称为 ubuntu 12.04 slave2,选择路径,点击下一步

正在克隆

克隆完成,点击关闭。

(3)修改,IP地址,在窗口网络连接点击 Configure VPN:

在修改IP4为192.168.134.4,然后保存。

(4)修改主机名为slave2.hadoop

用Ctrl+Alt+T组合键调出Terminal终端,输入: sudo nano /etc/hostmane,出现如下图

然后修改为slave2.hadoop,

然后用组合键Ctrl+O,再点击回车键,保存,最后,Ctrl+X退出编辑。

输入命令:sudo nano /etc/hosts,

将127.0.1.1 slave1.hadoop改为127.0.1.1 slave2.hadoop,然后在 最后加上 192.168.134.4 slave2.hadoop,

然后用组合键Ctrl+O,再点击回车键,保存,最后,Ctrl+X退出编辑。

最终,输入命令:sudo reboot ,重新启动该机,调用终端Terminal 可以看到slave2,上正在运行mytest账户,现在克隆修改至此完成。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9896980.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存