Linux中Hadoop伪分布式安装及配置

Linux中Hadoop伪分布式安装及配置

 将IP地址改为静态

vim /etc/sysconfig/network-scripts/ifcfg-ens33

不知道ip地址的小伙伴可以使用

ip addr / ifconfig         //查看ip地址

修改主机名和映射关系  

vim /etc/hostsname

 将里面的内容替换掉 名字随意 我这里就叫hdp

 添加映射关系

vim  /etc/hostname         

上传JDK压缩包

 解压安装包 tar -zxvf jdk-8u131-linux-x64.tar.gz        //解压jdk

上传压缩包

 解压

tar -zxvf hadoop-2.8.1.tar.gz

vim /etc/profile        //配置环境变量

source /etc/profile   //配置完后执行使其生效  

 检测配置是否成功

java -version

hadoop version

 修改Hadoop  如果你和我的路径一样直接复制

/opt/hadoop/etc/hadoop         

修改文件

 vim hadoop-env.sh

 vim core-site.xml        

   复制此代码粘贴到标签中

	
	
	fs.defaultFS
	hdfs://hdp1:8020
	
	
	
	hadoop.tmp.dir
	/opt/hadoop/hadoop-2.8.1/tmp
	
	
	
    
        hadoop.proxyuser.root.hosts
        *
    
    
        hadoop.proxyuser.root.groups
        *
    

vim  hdfs-site.xml        //同上粘贴复制

	
	dfs.replication
	1
	

vim mapred-site.xml.template 

	
	mapreduce.framework.name
	yarn
	

vim yarn-site.xml

	
	yarn.resoucemanager.hostname
	hdp1
	
	
	
	yarn.nodemanager.aux-services
	mapreduce_shuffle
	
    
	yarn.scheduler.maximum-allocation-mb
	2048
    

    
        yarn.scheduler.minimum-allocation-mb
        2048
    
    
        yarn.nodemanager.vmem-pmem-ratio
        2.1
    
    
        mapred.child.java.opts
        -Xmx1024m
    

 Hadoop 免密登录

ssh-keygen -t rsa   直接按三次回车
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

 格式化

hadoop namenode -format

启动Hadoop 

 start-all.sh        //yes

 jps        //查看所有相关Java的进程