win安装部署hadoop3.0.0并启动上传文件到HDFS_java

1.下载工具包（下载不方便的留邮箱）

hadoop-3.0.0.tar.gz

winutils-master.zip

2.正式上手

1.解压文件 hadoop-3.0.0.tar.gz winutils-master.zip

2.配置环境变量

Path最前面添加：;%HADOOP_HOME%\bin;

配置完cmd-> hadoop version 测试一下

下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录

修改core-site.xml文件添加

fs.default.name
hdfs://localhost:9000

修改hdfs-site.xml文件添加

dfs.replication
1

dfs.permissions
false

dfs.namenode.name.dir
/D:/hadoop-DATA/hadoop-3.0.0/data/namenode

fs.checkpoint.dir
/D:/hadoop-DATA/hadoop-3.0.0/data/snn

fs.checkpoint.edits.dir
/D:/hadoop-DATA/hadoop-3.0.0/data/snn

dfs.datanode.data.dir
/D:/hadoop-DATA/hadoop-3.0.0/data/datanode

修改yarn-site.xml文件添加

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

修改 mapred-site.xml文件添加

mapreduce.framework.name
yarn

下来将解压的winutils-master中的hadoop-3.0.0 bin目录下的hadoop.dll和winutils.exe拷贝到

hadoop-3.0.0下的bin目录覆盖掉原来的。

启动hadoop

cmd 进入hadoop-3.0.0 bin目录执行hdfs namenode -format

进入sbin目录执行start-all.cmd 启动hadoop会d出多个win窗口

创建file目录

还是在sbin目录：hadoop fs -mkdir /file

上传文件到HDFS:hadoop dfs -put /E:/125.gif /file

Hadoop自带了web UI管理页面可以看看结果：

①资源管理（localhost:8088）

②节点管理（localhost:9870）

下来用代码实现文件 *** 作

pom.xml


    junit
    junit
    RELEASE


    org.apache.logging.log4j
    log4j-core
    2.8.2


    org.apache.hadoop
    hadoop-common
    3.0.0


    org.apache.hadoop
    hadoop-client
    3.0.0


    org.apache.hadoop
    hadoop-hdfs
    3.0.0