hadoop完全分布式搭建(手把手教,超细)

hadoop完全分布式搭建(手把手教,超细),第1张

hadoop完全分布式搭建(手把手教,超细)

从我hadoop伪分布式搭建来的同学

现在我们已经有了一台hadoop伪分布式的服务器以及另外三台网络能够互通的干净服务器了

如果没有搭过伪分布式的同学,请参考我的另一篇文章

(31条消息) Hadoop伪分布式搭建_迫壳的博客-CSDN博客https://blog.csdn.net/qq_56893858/article/details/121370941?spm=1001.2014.3001.5501先停止hadoop服务

stop-dfs.sh

先说一下此篇文章各个节点的角色

                        NameNode                DataNode        secondaryNode

node01                  *                                

node02                                                        *                        *

node03                                                        *

node04                                                        *

 

1.另外三台node安装jdk

rpm -i jdk...

2.将/etc/profile发送至另外三台node

scp /etc/profile node02:/etc/profile

scp /etc/profile node03:/etc/profile

scp /etc/profile node04:/etc/profile

3.将node01的公钥发给另外三台node,实现免密登录

先让node2,3,4执行ssh localhost 在/root下生成.ssh文件夹

scp /root/.ssh/id_dsa.pub  node02:/root/.ssh/node01.pub
scp /root/.ssh/id_dsa.pub  node03:/root/.ssh/node01.pub
scp /root/.ssh/id_dsa.pub  node04:/root/.ssh/node01.pub

将公钥写入authorized_keys
三台node统一执行

cd ~/.ssh

cat node01.pub >> authorized_keys

在node01上测试,能够免密登录另外三台即大功告成

4. 修改配置

如果想要保存自己的分布式配置,则进行以下 *** 作

cd $HADOOP_HOME/etc

cp -r hadoop ./hadoop_local

 cd hadoop

vi hdfs-site.xml

上一篇 2022-12-13
下一篇 2022-12-13

发表评论

登录后才能评论

评论列表(0条)

保存