Hadoop完全分布式集群搭建

Hadoop完全分布式集群搭建 Hadoop完全分布式集群搭建 基础配置

修改主机名称
hostnamectl set-hostname 主机名

修改host文件
vim  /etc/hosts
		添加如下内容
		192.168.10.100 hadoop100
		192.168.10.101 hadoop101
		192.168.10.102 hadoop102
		本机内网ip		主机名
修改后验证成功的话不需要进行下面步骤
重启网络服务：
service  network  restart

时区选择（东八区）
执行tzselect命令
tzselect
选择亚洲，中国，北京 确认
4  9  1  1
用上面获得的【Asia/Shanghai】来修改时区
vim /etc/profile
TZ = 'Asia/Shanghai';export TZ
source /etc/profile

配置NTP时间服务
vim /etc/ntp.conf

	server 127.127.1.0
fudge 127.127.1.0 stratum 10
在slave1和dlave2中设置定时任务
crontab -e
*/30 10-17 * * * /usr/sbin/ntpdate master

systemctl start ntpd

远程免密登录
1）生成公私秘钥
ssh-keygen -t rsa
敲三个回车，就会生成两个文件id_rsa(私钥)、id_rsa.pub（公钥)

2）将秘钥发送到要需要免密的机器上
ssh-copy-id master/ssh-copy-id master@localhost
ssh-copy-id slave1
ssh-copy-id slave2
如果是主机单向连接到这里就可以验证了

如果不是
将第一台机器的公钥拷贝到其他机器上 在第一天机器上面指向以下命令 
scp /root/.ssh/authorized_keys slave1:/root/.ssh 
scp /root/.ssh/authorized_keys slave2:/root/.ssh 

安装JDK软件包
创建安装路径
cd /usr
mkdir -p /usr/java
解压安装包
cd /usr/package277
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java
配置环境变量
vim /etc/profile
在最底部添加如下内容 
export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=:$JAVA_HOME/bin:$PATH 
修改完成之后记得 source /etc/profile生效
source /etc/profile 

Zookeeper安装

第一步：下载zookeeeper的压缩包下载网址如下:

http://archive.apache.org/dist/zookeeper/

我们在这个网址下载我们使用的zk版本为3.4.14

下载完成之后，上传到我们的linux的/usr/package路径下准备进行安装

mkdir -p /usr/zookeeper
#解压
tar -zxvf zookeeper-3.4.14.tar.gz -C /usr/zookeeper
修改配置文件，3台都需要修改（xshell发送全部虚拟机）
vim /etc/profile
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile

第一台，修改zookeeper配置文件
cd /usr/zookeeper/zookeeper-3.4.14/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

dataDir=/usr/zookeeper/zookeeper-3.4.14/zkdata
dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkdatalog

# 集群中服务器地址
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
#创建所需目录
cd ..(退到zookeeper-3.4.14下)
mkdir zkdata zkdatalog
cd zkdata
echo 1 >> myid
#copy文件
scp -r /usr/zookeeper root@slave1:/usr/
scp -r /usr/zookeeper root@slave2:/usr/
#修改myid为2,第二台
echo 2 >/usr/zookeeper/zookeeper-3.4.14/zkdata/myid
#修改myid为3 ，第三台
echo 3 >/usr/zookeeper/zookeeper-3.4.14/zkdata/myid

启动zookeeper集群(三台都要 *** 作)
zkServer.sh start
查看启动状态
zkServer.sh status

hadoop集群搭建

#安装hadoop
mkdir -p /usr/hadoop
tar -zxvf hadoop-2.7.7.tar.gz -C /usr/hadoop
#将Hadoop添加到环境变量(三台都要执行)
vim  /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#生效环境变量
source /etc/profile
#测试是否安装成功
hadoop version
#配置hadoop集群
先创建好所需的目录
mkdir -p /root/hadoopData/tmp
mkdir -p /root/hadoopData/name
mkdir -p /root/hadoopData/data
#hadoop-env.sh
cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh

#配置JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_221

#核心配置文件
			cd $HADOOP_HOME/etc/hadoop
			vim core-site.xml

#core-site.xml
		
            
            fs.defaultFS
            hdfs://master:9000
        
        
               
            hadoop.tmp.dir
            file:///root/hadoopData/tmp
        
   
   vim hdfs-site.xml
#hdfs-site.xml
	

        
            
            dfs.replication 
            2
        
       
        
            
            dfs.name.dir 
            file:///root/hadoopData/name
        
        
            
            dfs.data.dir 
            file:///root/hadoopData/data
        
        
            
            dfs.namenode.secondary.http-address 
            slave1:50090
        
        
            
            dfs.permissions 
            false
        
        
        dfs.datanode.use.datanode.hostname
        true
		
		
#yarn-site.xml
		vim yarn-site.xml
		
		
            yarn.resourcemanager.admin.address
            master:1814
        
        
            
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
         
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

#mapreduce
vim mapred-env.sh

  
            
            mapreduce.framework.name
            yarn
        
        
#配置salves（）
vim salves
在该文件中增加如下内容：
master
slave1
slave2

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

#分发文件
scp -r /usr/hadoop/hadoop-2.7.7/ slave1:/usr/hadoop/
scp -r /usr/hadoop/hadoop-2.7.7/ slave2:/usr/hadoop/
#	（1）如果集群是第一次启动，需要在第一台主机格式化NameNode
hdfs namenode -format

#启动集群
#小知识：
	Hdoop集群启动关闭-手动逐个进程启停
	每台机器上每次手动启动关闭一个角色进程
	HDFS集群
	hdfs -daemon start namenode
	hdfs -daemon start datanode
	hdfs -daemon start secondarynamenode
	
	YARN集群
	yarn --daemon start resourcemanager|nodemanager
	yarn --daemon stop resourcemanager|nodemanager
	

# 启动dfs服务
start-dfs.sh
# 启动yarn服务
start-yarn.sh
#查看集群运行状态是否正常
jps