完全分布搭配

完全分布搭配

我们启动了4个节点：namenode、datanode、resourcemanager、nodemanager

集群配置

注意注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。NameNode和SecondaryNameNode不要安装在同一台服务器

 

 

 

 

 

集群分发

把module目录拷贝到hadoop100：

[root@hadoop102 opt]# cd /opt

[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/

把module目录拷贝到hadoop101：

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

 

把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

分布式集群格式化

分布式集群第一次启动之前要格式化

格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

在指定namenode运行的服务器上执行格式化：

（namenode指定在hadoop100上运行的）

[[email protected]]#hdfsnamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

-format

 

hdfs --daemon start datanode

yarn --daemon start nodemanager

1）启动hdfs相关

hdfs --daemon start namenode

hdfs --daemon start datanode

2）启动yarn相关

yarn --daemon start resourcemanager

yarn --daemon start nodemanager