hadoop.home.dir在哪儿

1、bin：

bin目录是Hadoop最基本的管理脚本和使用脚本所在的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop

在这里插入图片描述

2、sbin

存放的是我们管理脚本的所在目录，重要是对hdfs和yarn的各种开启和关闭和单线程开启和守护

在这里插入图片描述

文件名称 作用

hadoop-daemon.sh 通过执行hadoop命令来启动/停止一个守护进程(daemon)他可以单独开启一个进程也可以使用hadoop-daemons来开启多个进程，这样我们在某台机器挂掉时，就不用全部重新开启了

start-all.sh 调用 start-dfs.sh和start-yarn.sh（官方不建议使用）

stop-all.sh 调用 stop-dfs.sh和stop-yarn.sh（官方不建议使用）

start-dfs.sh 启动NameNode ，SecondaryNamenode ，DataNode这些进程

start-yarn.sh 启动ResourceManager,nodeManager 这些进程

stop-dfs.sh 关闭NameNode ，SecondaryNamenode ，DataNode这些进程

stop-yarn.sh 关闭ResourceManager,nodeManager 这些进程

stop-balancer.sh 停止balancer

stop-mapred.sh 停止MapReduce

3、etc

存放一些hadoop的配置文件

在这里插入图片描述

文件名称 作用说明

core-site.xml Hadoop核心全局配置文件，可以其他配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性；该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml，可将模板文件复制到conf目录，再进行修改。

hadoop-env.sh Hadoop环境变量

hdfs-site.xml HDFS配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/hdfs/hdfs-default.xml，可将模板文件复制到conf目录，再进行修改

mapred-site.xml MapReduce的配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/mapred/mapredd-default.xml，可将模板文件复制到conf目录，再进行修改

slaves 用于设置所有的slave的名称或IP，每行存放一个。如果是名称，那么设置的slave名称必须在/etc/hosts有IP映射配置

4、lib

该目录下存放的是Hadoop运行时依赖的jar包，Hadoop在执行时会把lib目录下面的jar全部加到classpath中。

在这里插入图片描述

5、logs

该目录存放的是Hadoop运行的日志，查看日志对寻找Hadoop运行错误非常有帮助。

在这里插入图片描述

6、include

对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

在这里插入图片描述

7、libexec

各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

在这里插入图片描述

8、share目录

Hadoop各个模块编译后的jar包所在的目录。

在这里插入图片描述

在这里插入图片描述

文章知识点与官方知识档案匹配

CS入门技能树Linux入门初识Linux

23099 人正在系统学习中

从安装Hadoop 单机版的配置说起

在这里配置了Hadoop的文件目录

1. 启动Hadoop 并上传文件

上传文件命令：hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/

可以看到已经上传了文件了

2. 删除本地文件

如果删除后你在浏览器刷新页面 然后还能下载 说明 肯定存在其他地方

使用命令下载也可以：hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz

3. hdfs 文件存放的位置

通过查看 安装时配置的hadoop文件目录 上传文件后的结果

这个dfs 应该见过的 就是在格式化namenode的时候 在我们配置的文件中创建了dfs 文件夹

4. 上传一个349.5M 的文件

5. 进到hadoop 本地存储文件中查看 存储格式

上传的文件为349.47M 被切分成了 三块 因为是单机版 所以都存放到了 这台主机的文件系统中

可以看到 hadoop 块大小为128M（默认） 超过128M的文件会被切成不同的块存放

总结

1. hdfs是是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式 虚拟的目录结构

2. 文件存储到hdfs集群中的时候是被切分成block的 默认为128M

3. 文件的block 存放在若干台datanode节点中

4. hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理

5. 每个block 在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量。

bin ：

hadoop : 命令行

hadoop.cmd :运行在Windows上的

etc：

etc/hadoop:hadoop相关的配置文件存放目录

sbin: 启动hadoop相关进程的脚本

examples: 一些案例

lib： 依赖包

share : 常用例子

./hadoop:

---