Hadoop集群_随笔_内存溢出

Hadoop集群

Hadoop集群有三种模式：本地模式、伪分布式模式、完全分布式模式

本地模式

其中运行程序为

输入路径为：wcinput

里面包含一个文档word.txt

输出路径为：wcoutput，输出路径必须不存在，若存在会报错

完全分布式 scp安全拷贝指令

查看下面的链接：相关链接

rsync同步指令

复制和同步的区别

复制：完全拷贝同步：只修改以变化的内容rsync比scp快基本语法

第一次使用用scp，后续使用用rsync xsync集群分发脚本

定义

xsync是对rsync的一个封装，其实现循环复制内容例如：

在服务器102创建一个文档a.txt，当执行xsync a.txt的时候，103和104也可以同步得到a.txt *** 作：

相关链接 ssh无密登录配置 ssh的基本功能

在hadoop102输入ssh hadoop103之后成功进入hadoop103服务器，然后输入exit退出hadoop103

ssh免密登录的原理

ssh免密登录的配置

查看下面的链接：相关链接

ssh-keygen -t rsa
输入完之后连点三次enter键

ssh-copy-id hadoop103
其中hadoop103是免密登录的目标机

集群配置

欢迎分享，转载请注明来源：内存溢出

Hadoop集群