win10下安装Hadoop3.2.2

win10下安装Hadoop3.2.2

因为Hadoop需要依赖java环境，因此需要先安装JDK1.8（大于1.8版本的jdk需要收费，因此很多厂家开发都是依赖与jdk1.8,hadoop当然也是啦）

1.安装JDK1.8

下载JDK1.8安装包，直接清华源：https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/，可以到其他的方去下载。我给忘记了是不是从这个源下载的，这个比较容易我是找的***x86_64.exe安装的。

注意：安装的时候需要就最好不要安装在Programe Files下面了，因为有空格，所以最好自己创建一个没有空格的文件夹，比如ProgrameDate

安装好了之后配置环境，参考：https://blog.csdn.net/weixin_44084189/article/details/98966787/

2.安装Hadoop

我下载的是hadoop3.2.2版本，在清华源下载的：https://mirror.tuna.tsinghua.edu.cn/apache/hadoop/core/

2.1 解压Hadoop镜像

文件到磁盘目录下，注意：可以解压在非C盘下，存储目录不要包含中文和空格

2.2 配置HADOOP_HOME环境变量

，并在系统环境变量Path中添加Hadoop环境变量

打开cmd窗口，输入hadoop version命令验证

备注： 若出现 Error: JAVA_HOME is incorrectly set. Please update F:hadoopconfhadoop-env.cmd的报错，则是因为JAVA_HOME环境变量配置的路径含有空格的原因

2.2 Hadoop伪分布式部署配置

就一台win10所以就叫伪分布式
a. 下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件
https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/
在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件，然后把文件拷贝到hadoop解压的bin目录中去
注意: hadoop.dll等文件不要与hadoop冲突，若出现依赖性错误可以将hadoop.dll放到C:WindowsSystem32下一份

b. 修改etc目录下的core-site.xml文件
各个文件的意义参考：https://blog.csdn.net/qq_31151125/article/details/101785843
1）core-site.xml
主要配置

1. 文件系统采用hdfs实现
2. 临时数据存放的位置
3. 缓冲区大小，实际工作中根据服务器性能动态调整
4. 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟

   
       fs.defaultFS
       hdfs://localhost:9000
   

	
		hadoop.tmp.dir
		/D:/hadoop-3.2.2/data/tmp
	
		
	
		io.file.buffer.size
		4096
	
		
	
		fs.trash.interval
		10080
	

2)hdfs-site.xml
主要配置

1. NameNode与2nn的访问地址
2. NameNode与DataNode数据的存放路径
3. FSImage,Edits,Checkpoint的存放位置
4. 设置文件的副本数，一份文件保存多少份
5. 设置文件存储的block块大小 128M

新建两个文件夹，在hadoop的安装目录下
**datadfsnamenode
**datadfsdatanode

   
        dfs.namenode.name.dir
        D:/hadoop-3.2.2/data/dfs/namenode
   
   
        dfs.datanode.data.dir
        D:/hadoop-3.2.2/data/dfs/datanode
   

3)mapred-site.xml

	
		mapreduce.framework.name
		yarn
	
	
	
		mapreduce.job.ubertask.enable
		true
	   

4)yarn-sute.xml

	
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
	
		yarn.log-aggregation-enable
		true
	

2.3cmd下进行测试

hdfs namenode -format

接下来进入sbin文件，执行如下代码：

start-all.cmd

会d出来四个窗口如下 ：

3 验证配置成功

访问 http://localhost:8088 看看会不会显示出来如下：

访问 http://localhost:9870 看看会不会显示出来如下：

参考链接:
https://www.jianshu.com/p/aa8cfaa26790
https://www.freesion.com/article/47651012308/