1修改Linux主机名,每台都得配置
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop-server1
2修改IP /etc/sysconfig/network-scripts/ifcfg-eth0
3修改主机名和IP的映射关系
vim /etc/hosts
192168146181 hadoop-server1
192168146182 hadoop-server2
192168146183 hadoop-server3
192168146184 hadoop-server4
192168146185 hadoop-server5
######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
前4步用root用户 *** 作, *** 作完后重启机器
5ssh免登陆hadoop用户 *** 作
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsapub(公钥)
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id hadoop-server2
6安装JDK,配置环境变量等root用户 *** 作
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk170_65
export HADOOP_HOME=/itcast/hadoop-241
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
集群规划:
主机名 IP 安装软件 运行进程
hadoop-server1 192168146181:jdk、hadoop
namenode resourcemanage
DFSZKFailoverController(zkfc)
hadoop-server2 192168146182:jdk、hadoop
namenode resourcemanage
DFSZKFailoverController(zkfc)
hadoop-server3 192168146183:jdk、hadoop、zookeeper
datanode nodemanage
journalnode QuorumPeerMain
hadoop-server4 192168146184:jdk、hadoop、zookeeper
datanode nodemanage
journalnode QuorumPeerMain
hadoop-server5 192168146185:jdk、hadoop、zookeeper
datanode nodemanage
journalnode QuorumPeerMain
安装步骤:
1安装配置zooekeeper集群(在hadoop-server3上)
11解压
tar -zxvf zookeeper-345targz -C /home/hadoop/app/
12修改配置
cd /home/hadoop/app/zookeeper-345/conf/
cp zoo_samplecfg zoocfg
vim zoocfg
修改:dataDir=/home/hadoop/app/zookeeper-345/data
在最后添加:
server1=hadoop-server3:2888:3888
server2=hadoop-server4:2888:3888
server3=hadoop-server5:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-345/data
再创建一个空文件
touch /home/hadoop/app/zookeeper-345/data/myid
最后向该文件写入ID
echo 1 > /home/hadoop/app/zookeeper-345/data/myid
13将配置好的zookeeper拷贝到其他节点
scp -r /home/hadoop/app/zookeeper-345/ weekend06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-345/ weekend07:/home/hadoop/app/
注意:修改hadoop-server4、hadoop-server5对应/home/hadoop/app/zookeeper-345/data/myid内容
hadoop-server4:
echo 2 > /home/hadoop/app/zookeeper-345/data/myid
hadoop-server5:
echo 3 > /home/hadoop/app/zookeeper-345/data/myid
2安装配置hadoop集群(在hadoop-server1上 *** 作)
21解压
tar -zxvf hadoop-241targz -C /weekend/
22配置HDFS(hadoop20所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/hadoop/home/app/jdk170_55
export HADOOP_HOME=/home/hadoop/app/hadoop-241
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop20的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-241/etc/hadoop
221修改hadoo-envsh
export JAVA_HOME=/home/hadoop/app/jdk170_55
222修改core-sitexml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fsdefaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadooptmpdir</name>
<value>/home/hadoop/app/hadoop-241/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>hazookeeperquorum</name>
<value>hadoop-server3:2181,hadoop-server3:2181,hadoop-server3:2181</value>
</property>
</configuration>
223修改hdfs-sitexml
<configuration>
<!--指定hdfs的nameservice为ns1,需要和core-sitexml中的保持一致 -->
<property>
<name>dfsnameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfshanamenodesns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfsnamenoderpc-addressns1nn1</name>
<value>hadoop-server1:9000</value>
</property>
<!-- nn1的>NameNode进程,DataNode进程。使用start-dfssh命令启动集群时是指命令启动Hadoop集群,启动的进程有NameNode进程,DataNode进程。集群启动过程指集群完全启动时的启动过程,期间经历选举主节点、主分片、数据恢复等重要阶段。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)