hadoop面试题之HDFS

1、简单介绍下hadoop吧？

    广义上hadoop是指与hadoop相关的大数据生态圈。包含hive、spark、hbase等。

    狭义上hadoop指的是apache的开源框架。有三个核心组件：

----hdfs：分布式文件存储系统

----yarn：分布式资源管理调度平台

----mr：分布式计算引擎

2、介绍下hdfs

全称为Hadoop Distributed File System。有三个核心组件：

namenode：有三个作用，第一是负责保存集群的元数据信息，第二是负责维护整个集群节点的正常运行。

第三是负责处理客户端的请求。

datanode：负责实际保存数据。实际执行数据块的读写 *** 作。

secondarynamenode：辅助namenode进行元数据的管理。不是namenode的备份。

3、namenode的工作机制？

    namenode在内存中保存着整个内存系统的名称空间和文件数据块的地址映射。整个hdfs可存储的文件数受限于namenode的内存大小。所以hdfs不适合大量小文件的存储。

---namenode有三种元数据存储方式来管理元数据：

    》内存元数据：内存中保存了完整的元数据

    》保存在磁盘上的元数据镜像文件（fsimage）：该文件时hdfs存在磁盘中的元数据检查点，里面保存的是最后一次检查点之前的hdfs文件系统中所有目录和文件的序列化信息。

    》数据 *** 作日志文件（edits）：用于衔接内存meta data和持久化元数据镜像fsimage之间的 *** 作日志文件。保存了自最后一次检查点之后所有针对hdfs文件系统的 *** 作。如对文件的增删改查。

4、如何查看元数据信息？

    因为edits和fsimage文件是经过序列化的，所以不能直接查看。hadoop20以上提供了查看两种文件的工具。

----命令：hdfs oiv 可以将fsimage文件转换成其他格式，如xml和文本文件。-i 表示输入fsimage文件。-o 输出文件路径，-p 指定输出文件

                hdfs oev可以查看edits文件。同理需要指定相关参数。

详情查看： >

spark进入txt文件的命令

1、首先启动spark-shell进入Spark-shell模式：（进入spark目录下后 输入命令 bin/spark-shell启动spark-shell模式）

2、加载text文件（spark创建sc，可以加载本地文件和HDFS文件创建RDD）



val textFile = sctextFile("file:///home/hadoop/test1txt") #注意file:后是三个“/”

注意：加载HDFS文件和本地文件都是使用textFile，区别是添加前缀(hdfs://和file://)进行标识。

3、获取RDD文件textFile所有项（文本文件即总共行数）的计数（还有很多其他的RDD *** 作，自行百度）



textFilecount() #统计结果显示 1 行

二、在 spark-shell 中读取 HDFS 系统文件“/home/hadoop/testcsv（也可以是txt文件）”（如果该文件不存在， 请先创建），然后，统计出文件的行数：

方法一：

1、加载text文件（spark创建sc，可以加载本地文件和HDFS文件创建RDD）



val textFile = sctextFile("hdfs:///home/hadoop/testcsv") #注意hdfs:后是三个“/”

注意：加载HDFS文件和本地文件都是使用textFile，区别是添加前缀(hdfs://和file://)进行标识。

2、获取RDD文件textFile所有项的计数



textFilecount() #统计结果显示 1 行

方法二：（Spark shell 默认是读取 HDFS 中的文件，需要先上传文件到 HDFS 中，否则会有“orgapachehadoopmapredInvalidInputException: Input path does not exist: hdfs://localhost:9000/user/hadoop/READMEmd”的错误。）

1、省去方法一中第一步的命令（1）中的“hdfs：//”，其他部分相同，命令如下：



三、编写独立应用程序，读取 HDFS 系统文件“/user/hadoop/testtxt”（如果该文件不存在， 请先创建），然后，统计出文件的行数；通过 sbt 工具将整个应用程序编译打包成 JAR 包， 并将生成的 JAR 包通过 spark-submit 提交到 Spark 中运行命令：

1、首先输入:quit 命令退出spark-shell模式：



2、在终端中执行如下命令创建一个文件夹 sparkapp3 作为应用程序根目录：



cd ~ # 进入用户主文件夹

mkdir /sparkapp3 # 创建应用程序根目录

mkdir -p /sparkapp3/src/main/scala # 创建所需的文件夹结构

3、在 /sparkapp3/src/main/scala 下建立一个名为 SimpleAppscala 的文件（vim /sparkapp3/src/main/scala/SimpleAppscala），添加代码如下：



/ SimpleAppscala /

import orgapachesparkSparkContext

import orgapachesparkSparkContext_

import orgapachesparkSparkConf

object SimpleApp {

def main(args: Array[String]) {

val logFile = "hdfs://localhost:9000/home/hadoop/testcsv"

val conf = new SparkConf()setAppName("Simple Application")

val sc = new SparkContext(conf)

val logData = sctextFile(logFile, 2)

val num = logDatacount()

println("这个文件有 %d 行！"format(num))

}

}

4、该程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。 /sparkapp3 中新建文件 simplesbt（vim /sparkapp3/simplesbt），添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系：



name := "Simple Project"

version := "10"

scalaVersion := "21210"

libraryDependencies += "orgapachespark" %% "spark-core" % "300-preview2"

随着Druid上的DataSource的数量和数据量增加，使用原来的 Hadoop MR索引任务已经不能满足对大数据量写入Druid的需求，急需找到更快的写入方式。就是本文介绍的 druid-spark-batch

github地址

注：sbt 编译druid-spark-batch时，需要先把对应版本的druid（如: 0110）安装到本地mavne仓库，否则或报错 找不到对应的druid包

Spark is included in the default hadoop coordinates similar to druidindexertaskdefaultHadoopCoordinates=["orgapachespark:spark-core_210:152-mmx1"]

152-mmx1 是依赖的spark版本号，本例使用的是spark-220， 所以middleManager节点的配置如下：

同时把依赖的spark220的包拷贝到 druid-install-path/hadoop-dependencies/spark-core_210/220 目录下

Druid 0110 jackson版本为246， Druid-spark-batch jackson版本为265。

修改Druid 0110 jackson版本为265，重新编译，解决该问题。

guice 和 guava包冲突，druid-spark-batch 是用的是guice-410jar 和 guava-1601jar。

properties 设置 sparkexecutorextraClassPath=true ， 并配置 sparkexecutorextraLibraryPath ， 如下：

druid hdfs-storage extension 模块的HadoopFsWrapperrename 调用了 Hadoop的FileSystem类中的Rename方法。

这方法在Hadoop中有2个一个是2个参数，一个3个参数；其中一个保护的一个是公开的。

解决方法： 修改HadoopFsWrapper种的rename方法，修改成fsrename(from, to)

src/main/scala/io/druid/indexer/spark/SparkDruidIndexerscala

原因：当hdfs路径包含目录时，无法获取文件大小，导致分区startingPartitions值异常，超出2G限制

修改如下：

1Hadoop 分布式 文件系统。特点：性能高、效率高、速度快

2可以在廉价的机器上运行的 可容错 文件系统。

当集群中有机器挂掉时，HDFS会自动将挂掉的机器上的任务分配给正常的机器，使任务继续保持正常工作。

2HDFS处理更加容易。当对一个大型文件进行写 *** 作时，如果将该文件整个写入一个节点，那么该节点的负载便会急剧增加，这样就丧失了分布式文件系统的意义。所以，应该利用HDFS将文件拆分成不同的块，然后将不同的块分配到不同的节点上去，此时，DFS就需要管理者确定文件如何进行拆分，以及每一个块应该分配到哪一个节点。对文件进行 *** 作时，在单机情况下，首先需要知道文件被拆分成多少块，每一个块被放在了哪一个节点上，以及块之间的顺序(文件的粘连)。而HDFS的出现，使得分布式文件集群不再需要人进行管理，利用HDFS读取文件时，我们不需要关心文件如何拆分，分配，粘连。只用告诉HDFS文件的路径即可。

HDFS的指令类似于linux下的指令。

查看文件：hdfs dfs -ls /查询的文件目录

删除文件：hdfs dfs -rm r /删除的文件

创建文件夹：hdfs dfs -mkdir /文件夹名称

上传文件至HDFS：hdfs dfs -put 需要上传的文件 /上传的文件路径

为什么需要学习HDFS结构？

1面试中，能够运用于所有分布式文件系统设计。

既然分布式系统下是多节点运行，那么节点之间是否通信？slave节点只接受来自master节点的命令，向master节点发送心跳指令，slave节点之间不会主动通信。

aMaster slaver 模式：

1High consistency:一致性。当文件中的一个数据块写入slave节点时，当且仅当数据块被成功写入到所有备份的slave节点，slave节点向client反馈写入 *** 作成功，否则，重传写入；

2Simple design:易设计：不需要考虑子节点如何通信。只需要考虑主节点的工作；

3单master节点不具有鲁棒性。

bPeer peer 模式：

1所有的读写 *** 作均匀分布在每一个节点上，每一个节点的负载不会很高；

2任意一个节点挂掉不会影响其他节点；

3低一致性。没有数据的复制步骤。

2更好的理解hadoop生态系统

amaster节点会传输数据吗？

不会，master节点只接收client的请求，决定哪一个slave节点进行读写 *** 作，然后，client直接与slave节点进行通信。如果数据从master节点传输，那么master节点就会成为影响数据传输的瓶颈。

bslave节点如何存储数据？

整个大文件？小的文件块？。HDFS借鉴GFS的设计理念，以block为传输单位，将大文件拆分成一个一个小文件，而一个小文件就是block。block的大小可以由Configuration定义，默认大小是128M。

c谁来决定将文件拆分成块？

masterslave。两者都不是，由HDFS client决定将大文件拆分成block(块)。HDFS的目的是将所有的节点包装起来，可以理解成将所有的节点放在一个黑箱里，我们不需要知道黑箱里到底发生了什么，只需要告诉黑箱需要做什么工作，这里的HDFS client相当于HDFS与user通信的中间媒介。HDFS client相当于一个软件包(api)，可以存放在master或者slave或者额外的一个新节点上。

写入in memory失败(ACK出现问题)时，master会重新选择3个新的slave节点。

HDFS命令基本格式：hadoop fs -cmd < args >

表格：

注意：以上表格中路径包括hdfs中的路径和linux中的路径。对于容易产生歧义的地方，会特别指出“linux路径”或者“hdfs路径”。如果没有明确指出，意味着是hdfs路径。

HDFS有一个默认的工作目录/user/$USER，其中$USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它

命令格式：hadoop fs -mkdir

注意：支持级联创建新目录，Hadoop的mkdir命令会自动创建父目录，类似于带-p的linux命令

put命令从本地文件系统中 复制单个或多个 源路径到目标文件系统，也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和上传到HDFS中。

命令格式：hadoop fs -put filename

最后一个参数是句点，相当于放入了默认的工作目录，等价于 hadoop fs -put exampletxt /user/chen

上传文件时，文件首先复制到DataNode上，只有所有的DataNode都成功接收完数据，文件上传才是成功的。

命令格式：hadoop dfs put filename newfilename

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从 标准输入 中读取输入写入目标文件系统。

采用-ls命令列出HDFS上的文件。在HDFS中未带参数的-ls命令没有返回任何值，它默认返回HDFS的home目录下

的内容。在HDFS中，没有当前工作目录这样一个概念，也没有cmd这样的命令。

命令格式：user@NameNode:hadoop$ bin/hadoop dfs -ls

如：

通过“-ls 文件夹名” 命令浏览HDFS下文件夹中的文件

命令格式：hadoop dfs -ls 文件夹名

通过该命令可以查看in文件夹中的所有文档文件

通过“-cat 文件名”命令查看HDFS下文件夹中某个文件的内容

命令格式：hadoop$ bin/hadoop dfs -cat 文件名

通过这个命令可以查看in文件夹中所有文件的内容

通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。

命令格式：hadoop dfs -get 文件名 新文件名

-get 命令与-put命令一样，既可以 *** 作目录，也可以 *** 作文件

通过“-rmr 文件”命令删除HDFS下的文件

命令格式：hadoop$ bin/hadoop dfs -rmr 文件

-rmr 删除文档命令相当于delete的递归版本。

通过-format命令实现HDFS格式化

命令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format

通过运行start-dfssh，就可以启动HDFS了

命令格式：user@NameNode:hadoop$ bin/ start-dfssh

当需要退出HDFS时，通过stop-dfssh 就可以关闭HDFS

命令格式：user@NameNode:hadoop$ bin/ stop-dfssh

HDFS的命令远不止这些，对于其他 *** 作，可以通过-help commandName 命令列出清单。下面列举一些命令进行说明。

（1）chgrp改变文件所属的组命令

chgrp命令的用途是：更改文件或目录的组所有权。

语法格式：hadoop fs -charg [-R] GROUP URL

使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

（2）chmod改变文件的权限

chmod用于改变文件或目录的访问权限，这个Linux系统管理员最常用的命令之一。

使用方法：hadoop fs -chmod [-R]

使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户

（3）chown改变文件的拥有者

chown命令改变文件的拥有者。

使用方法：hadoop fs -chown [-R]

使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

（4）copyFromLocal命令

除了限定 源路径 是只能是一个 本地文件 外，其他方面和put命令相似。

使用方法：hadoop fs -copyFromLocal <localsrc> URI

（5）copyToLocal命令

除了限定 目标路径 是一个 本地文件 外，其他方面和get命令类似。

使用方法：hadoop fs -copyToLocal {-ignorecrc} {-crc} URI <localdst>

（6）cp命令

cp命令是将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

使用方法：hadoop fs -cp URI [URI] <dest>

返回值：成功返回0 ，失败返回-1

（7）du命令

du命令显示目录中 所有文件的大小 ，或者当只指定一个文件时，显示此文件的大小

使用方法：hadoop fs -du URI [URI]

返回值

成功返回0，失败返回-1

（8）dus命令

dus是显示 文件大小 的命令。

使用方法：hadoop fs -dus <args>

（9）expunge命令

expunge是清空回收站的命令

使用方法：hadoop fs -expunge

（10）get命令

get是复制文件到本地文件系统的命令

使用方法：hadoop fs -get [-ignorecrc] [-crc] <localdst>

可用-ignorecrc选项复制CRC校验失败的文件：使用-CRC选项复制文件以及CRC信息。

返回值

成功返回0，失败返回-1

（11）getmerge命令

getmerge命令用于接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件合并成本地目标文件。

使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

参数说明：addl是可选的，用于指定在每个文件结尾添加一个换行符；

假设在你的hdfs集群上有一个/user/hadoop/output目录

里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002

然后就可以在本地使用vi local_file查看内容了

（12）ls命令

ls命令查看当前目录下的信息

使用方法：hadoop fs -ls <args>

如果是 文件 ，则按照如下格式返回文件信息：

文件名 <副本数>文件大小 修改日期 修改时间 权限 用户ID 组ID

如果是 目录 ，则返回它直接子文件的一个列表，就像在UNIX中一样。目录返回i额表的信息如下：

目录名<dir>修改日期 修改时间 权限 用户ID 组ID

返回值

成功返回0，失败返回-1

（13）lsr命令

lsr命令是-ls命令的递归版，类似于UNIX中的ls-r。

使用方法：hadoop fs -lsr <args>

（14）movefromLocal命令

复制一份本地文件到hdfs，当成功后，删除本地文件

使用方法：dfs -moveFromLocal <src> <dst>

（145）moveToLocal命令

类似于-get，但是当复制完成后，会删除hdfs上的文件

使用方法：moveToLocal <src> <localDest>

（15）mv命令

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录

使用方法：hadoop fs -mv URI [URI] <dest>

备注：不允许在不同的文件系统间移动文件。

返回值

成功返回0，失败返回-1

（16）put 命令

put命令从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读取输入写入目标文件系统

使用方法：hadoop fs -put <localsrc> <dst>

（17）rm命令

rm命令删除指定的文件，只删除非空目录和文件。

使用方法：hadoop fs -rm URI [URI]

请参考rmr命令了解递归删除。

（18）rmr命令

rmr命令是delete命令的递归版本

使用方法：hadoop fs -rmr URI [URI]

返回值

成功返回0，失败返回-1

（19）setrep命令

setrep命令可以改变一个文件的副本系数。

使用方法：hadoop fs -setrep [-R] <path>

参数说明：-R 选项用于递归改变目录下所有文件的副本系数

返回值

成功返回0，失败返回-1

（20）stat命令

stat命令用于返回指定路径的统计信息

使用方法：hadoop fs -stat URI [URI]

返回值

成功返回0，失败返回-1

（21）tail命令

tail命令将文件尾部1KB的内容输出到stdout。支持-f选项，行为和UNIX中一致

使用方法：hadoop fs -tail [-f] URI

返回值

成功返回0，失败返回-1

（22）test命令

test命令是检查命令，可以检查文件是否存在、文件的大小等。

使用方法：hadoop fs -test -[ezd] URI

（23）text命令

text命令用于将源文件输出问文本格式

使用方法：hadoop fs -text <src>

允许的格式是zip和TextRecordInputStream。

（24）touchz 命令

touchz命令用于创建一个0字节的空文件。

使用方法： hadoop fs -touchz URI [URI]

返回值

成功返回0，失败返回-1

HDFS是Hadoop生态系统的根基，也是Hadoop生态系统中的重要一员，大部分时候，我们都会使用Linux shell命令来管理HDFS，包括一些文件的创建，删除，修改，上传等等，因为使用shell命令 *** 作HDFS的方式，相对比较简单，方便，但是有时候，我们也需要通过编程的方式来实现对文件系统的管理。

比如有如下的一个小需求，要求我们实现读取HDFS某个文件夹下所有日志，经过加工处理后在写入到HDFS上，或者存进Hbase里，或者存进其他一些存储系统。这时候使用shell的方式就有点麻烦了，所以这时候我们就可以使用编程的方式来完成这件事了，当然散仙在这里使用的是原生的Java语言的方式，其他的一些语言例如C++,PHP,Python都可以实现，散仙在这里不给出演示了，（其实散仙也不会那些语言，除了刚入门的Python） 。

以上就是关于hadoop面试题之HDFS全部的内容，包括:hadoop面试题之HDFS、HDFS和本地文件系统文件互导、spark进入txt文件的命令等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！