如何增加hadoop集群中的主机新的机器的dns

无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。

本次 *** 作之前，Hadoop的集群情况如下：

HDFS的机器情况如下：

MR的机器情况如下：

添加机器

在集群的Master机器中，修改$HADOOP_HOME/conf/slaves文件，在其中添加需要加入集群的新机器（hp3）的主机名：

hp3

hp2

dell1

dell2

dell3

dell4

然后在Master机器中执行如下命令：

$HADOOP_HOME/bin/start-all.sh

这样 *** 作完成之后，新的机器就添加到集群中来了。

HDFS集群增加了一台新的机器：

MR集群中也新增了一台机器：

删除机器

不安全的方式

由于Hadoop集群自身具备良好的容错性，可以直接关闭相应的机器，从而达到将该机器撤除的目的。但是如果一次性 *** 作3台以上的机器，就有可能造成部分数据丢失，所以不推荐使用这种方式进行 *** 作。

安全的方式

在集群的Master机器中，新建一个文件：$HADOOP_HOME/conf/nn-excluded-list，在这个文件中指定需要删除的机器主机名（hp3）：

hp3

然后，修改Master机器的配置文件：$HADOOP_HOME/conf/hdfs-site.xml，添加如下内容：

dfs.hosts.exclude

conf/nn-excluded-list

最后，在Master机器中执行如下命令：

$HADOOP_HOME/bin/hadoop

dfsadmin

-refreshNodes

这样 *** 作完成之后，可以在HDFS集群中看到，hp3机器已经处于Decommission

In

Progress状态：

但是MR机器中hp3机器依旧在运行中：

我们需要等待一定的时间，等待hp3中datanode的Decommission *** 作完成以后，再到hp3机器中关闭所有的Hadoop进程即可。

（1）在ClouderaManager的主界面选择“host（主机）”---->parcel，（2）点击红色按钮（编辑设置）进入设置界面：

若是手动下载的parcel包，可以将其放到对应目录下，默认是/opt/cloudera/parcel-repo/目录下。

若需要配置远程下载的repo路径，则只需要在旁边点击“+”这个按钮即可。

（3）设置好了这两个参数后，回到（1）中的parcel界面，点击检查新parcel按钮即可显示。

（4）分配和激活即可。

1、在开始菜单中依次单击“管理工具”→“DNS”菜单项，打开dnsmgmt窗口。在左窗格中依次展开服务器和“正向查找区域”目录，然后右键单击准备添加主机的区域名称（如msserver.com.cn），在快捷菜单中选择“新建主机”命令，如图所示。小提示：主机记录也叫做A记录，用于静态地建立主机名与IP地址之间的对应关系，以便提供正向查询服务。因此必须为每种服务均创建一个A记录，如FTP、WWW、Media、Mail、News、BBS等等。主机记录和MX记录都只需在主DNS服务器上进行设置。

2、打开“新建主机”对话框，在“名称”编辑框中输入能够代表目标主机所提供服务的有意义的名称（如WWW、Mail、FTP、News等），并在“IP地址”编辑框中输入该主机的IP地址。例如输入名称为www，IP地址为10.115.223.60。则该目标主机对应的域名就是www.msserver.com.cn。当用户在Web浏览器中输入www.msserver.com.cn时，该域名将被解析为10.115.223.60。设置完毕单击“添加主机”按钮。

3、接着d出提示框提示主机创建成功，单击【确定】按钮返回“新建主机”对话框。

4、重复上述步骤可以添加多个主机，如Mail、FTP、News、Media等。主机全部添加完成后单击【完成】按钮返回dnsmgmt窗口，在右窗格中显示出所有创建成功的主机与IP地址的映射记录。

---