一份简单明了的Hadoop搭建基于windows32位

一份简单明了的Hadoop搭建基于windows32位

准备工作：

下载hadoop-2.6.2.tar.gz

1、安装jdk1.8.0_131、下载 winutils.exe hadoop.dll

hadoop下载：Index of /dist/hadoop/common

jdk下载：Java Archive Downloads - Java SE 8

下载 winutils.exe hadoop.dll：链接：https://pan.baidu.com/s/1Vjf61VuWpbjJ4CPfZbupbA 
提取码：0000

2、验证是否安装java；验证方法：cmd中 java-version 

3、将hadoop-2.6.2.tar.gz解压出来

4、设置环境变量（此电脑/属性/高级属性设置/环境变量）

5、系统变量添加HADOOP_HOME=安装目录（例：D:/Hadoop-2.6.2）；PATH中添加D:/Hadoop-2.6.2/bin

6、将winutils.exe、hadoop.dll文件复制到hadoop-2.6.2/bin

7、将hadoop.dll文件复制到 C:WindowsSystem32

8、在Hadoop安装目录下创建namenode、datanode两个文件

9、配置文件D:hadoop-2.6.2etchadoop core-site.xml

   

        fs.defaultFS

        hdfs://localhost:9000

       

10、配置文件D:hadoop-2.6.2etchadoop hadoop-env.cmd中加入

set JAVA_HOME=C:Javajdk1.8.0_131

***注意如果你的Java安装目录是C:Program FilesJava jdk1.8.0_131将Program Files改成PROGRA~1即set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_131

11、配置文件D:hadoop-2.6.2etchadoopmapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件

 

        mapreduce.framework.name

        yarn

12、配置文件D:hadoop-2.6.2etchadoop hdfs-site.xml

  

        dfs.replication

        1

   

       

        dfs.namenode.name.dir   

        /D:/hadoop-2.6.2/namenode   

       

       

        dfs.datanode.data.dir   

        /D:/hadoop-2.6.2/datanode 

13、配置文件D:hadoop-2.6.2etchadoop yarn-site.xml

   

        yarn.nodemanager.aux-services

        mapreduce_shuffle

   

   

        yarn.nodemanager.aux-services.mapreduce.shuffle.class

        org.apache.hadoop.mapred.ShuffleHandler

14、修改D:hadoop-2.6.2sbinstart-all.cmd中添加

cd D:hadoop-2.6.2bin

15、1.运行cmd窗口，执行hdfs namenode -format； （不要重复格式化，如要重复格式化需要将存储namenode和datanode数据的文件清空，再进行格式化）

2.切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

jps –

localhost:50070

至此hadoop搭建完成