HADOOP 网络搭建设置

概述设置虚拟机DNS 主机网络配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static IPADDR=192.168.56.110 NETMASK=255.255.255.0 GATEWAY=192.168.56.10 ONBOOT=yes vi /etc/NetworkManager/NetworkManager.conf 添 设置虚拟机DNS 主机网络配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static
IPADDR=192.168.56.110
NETMASK=255.255.255.0
GATEWAY=192.168.56.10
ONBOOT=yes

vi /etc/NetworkManager/NetworkManager.conf

添加一行内容dns=none
然后重启网络管理：
systemctl restart NetworkManager.service
修改域名解析配置文件 vi /etc/resolv.conf 
nameserver 192.168.20.3 #这里是修改DNS
最后重启网络service network restart
Ping www.baIDu.com可Ping通即配置成功。

安装Xshell连接软件 关闭防火墙 systemctl status firewalld.service

查看防火墙状态

systemctl stop firewalld.service

该命令输入和执行后，终端不会有输出。要检查执行是否成功，可以再次使用状态检查命令。

systemctl disable firewalld.service

该命令使防火墙在下次启动计算机的时候取消防火墙服务。

服务器系统设置 设置主机名 vi /etc/sysconfig/network

添加 NETWORKING = yes
HOSTname=MJ1

如果只修改 network 文件，下次重启虚拟机时，会发现修改后的名字又回到原来的 localhost 去了。原来上面只修改了瞬态（TransIEnt）主机名，并没有修改静态（Static）主机名。因此，仍然要进行修改，这一次输入

“ vi /etc/hostname”

命令在编辑器中输入如下代码：MJ1，保存并退出，回到终端主窗口。
请重复上述 *** 作方法，将其他虚拟机的主机名也从缺省的 localhost 修改为对应的 slave0 和 slave1。

服务器系统设置

一，集群机器时间同步

安装ntpdate，命令：yum install ntpdate
网络同步时间，命令：ntpdate cn.pool.ntp.org

二，配置IP主机名映射

设置主机名IP映射，命令：vi /etc/hosts
192.168.20.20 MJ1
192.168.20.21 MJ2
192.168.20.22 MJ3

三，复制虚拟机注意虚拟机ip地址

四，配置ssh免密登录（本身机器访问本身也要免密登录，配置机器到自己、其他机器的免密登录）

1、生成免密登录秘钥
命令：ssh-keygen - t rsa (四个回车)
2、秘钥生成之后会产生ID_rsa（私钥），ID_rsa.pub(公钥)，将公钥拷贝到要免密登录的机器上面去。
首先自己免密码登陆：把自己的公钥文件追加到本地认证文件中去
cat ~/.ssh/ID_rsa.pub >> ~/.ssh/authorized_keys

JDK环境准备 1、jdk的卸载和安装

安装yum install lrzsz

我们要安装标准的jdk，如果不是标准的jdk，比如openJDK要卸载。

卸载命令：rpm –qa | grep java 查找安装包
rpm –e --nodeps 包名

2、创建文件夹用来放置安装的软件如jdk,zookeeper

命令：mkdir /use/java

3、上传jdk包：rz拖拽 4、安装命令 tar zxvf 包名 5、修改设置全局变量3台机器都要添加： vi /etc/profile 加入下面内容

export JAVA_HOME=/usr/lcal/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLAsspATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

6、重新加载profile文件:source /etc/profile

①使用javac命令，不会出现command not found错误②、使用java -version，出现版本为java version "1.8.0_131"③、echo $PATH，看看自己刚刚设置的的环境变量配置是否都正确

7，上传完后，在master主机进入/opt/hadoop目录，执行解压缩命令“tar -zxvf hadoop-2.7.5.tar.gz” 配置env文件

修改”/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh”文件，找到“export JAVA_HOME”这行，配置jdk路径。如图

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

配置Hadoop 的核心组件文件是 core-site.xml
添加这个临时文件保存目录 首先你得创建这个目录

<property>    <name>fs.defaultFS</name>    <value>hdfs://MJ1:9000</value></property><property>    <name>hadoop.tmp.dir</name>    <value>/opt/hadoop/hadoopdata</value></property>

配置Hadoop 的文件系统配置文件是 hdfs-site.xml
这里可以配置主机网站端口可以通过浏览器来访问web监控页面
上传和下载文件端口是9000

<property>    <name>dfs.replication</name>    <value>1</value></property>

配置slaves（配置masters）

拷贝 到 MJ2 MJ3

scp -r hadoop-2.7.6/ [email protected]:/usr/local/

配置hadoop环境变量

export HADOOP_HOME=/usr/local/hadoop-2.7.6export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后把hadoop环境变量传给其余几台

scp /etc/profile [email protected]:/etc/

重新启动环境变量

source /etc/profile

格式化你的主机不能在奴隶机上用

hdfs namenode -format

启动hdfs

start -dfs.sh

到这里已经装好HDFS了可以输入网址查看 http://192.168.20.20:50070

下面装yarn
重命名为mapred-site.xml.template

mv mapred-site.xml.template mapred-site.xml

修改

修改

yarn-site.xml

添加

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>MJ1:18040</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>MJ1:18030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>MJ1:18025</value></property><property><name>yarn.resourcemanager.admin.address</name><value>MJ1:18141</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>MJ:18088</value></property>

指定mr运行在yarn上，默认是local，本地模仿一个资源环境

把修改过的两个文件分别覆盖自己得奴隶机

启动yarn ResourceManage：http://192.168.247.11:8088 （Yarn管理界面）查看

总结

以上是内存溢出为你收集整理的HADOOP 网络搭建设置全部内容，希望文章能够帮你解决HADOOP 网络搭建设置所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。