如何快速从hdfs上检索需要的文本

如何快速从hdfs上检索需要的文本,第1张

A1.该索引叫FsImage, 但没有对外提供api, 参考神猛 附录的链接1

整个文件系统的名字空间,包括数据块到文件的映射、文件的属性等,都存储在一个称为FsImage的文件中,这个文件也是放在Namenode所在的本地文件系统上。

A2. FS Shell, 详细请参考链接2

1)hadoop fs -ls

功能跟shell 的 ls 命令相同念瞎

2)hadoop fs -lsr

ls命令的递归版本。类似于Unix中仔瞎空的ls -R。

如果要实现复杂的查找功能,可以考虑用下述方式

hadoop fs -lsr / | awk/sed/grep .....

指令

hadoop fsck /user/hadoop/filename -files -blocks -locations -racks

-files 文件分李哗块信息,

-blocks在带-files参数后才显示block信息

-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置,

-racks 在带-files参数后显示机山扰茄架位置

注意:此命令只能逗察在namenode里输入,在datanode里输入会报错的


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12265762.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-24
下一篇 2023-05-24

发表评论

登录后才能评论

评论列表(0条)

保存