Hadoop里面如何查看一个文件的分布在哪几个节点上

读取A，B节点所在的那个xml文件，然后分别创建两个新的xml文件，把读取到的A，B节点值写入到新的xml文件

如有疑问追问，如满意记得采纳，

如果有其他问题也可点我名字向我求助

答题不易，

如果没有回答完全，请您谅解，

请采纳最快回答的正确答案！！谢谢！

1hadoop有三个主要的核心组件：HDFS（分布式文件存储）、MAPREDUCE（分布式的计算）、YARN（资源调度），现在云计算包括大数据和虚拟化进行支撑。

在HADOOP（hdfs、MAPREDUCE、yarn）大数据处理技术框架，擅长离线数据分析

Zookeeper 分布式协调服务基础组件，Hbase 分布式海量数据库，离线分析和在线业务处理。

Hive sql 数据仓库工具，使用方便，功能丰富，基于MR延迟大，可以方便对数据的分析，并且数据的处理可以自定义方法进行 *** 作，简单方便。

Sqoop数据导入导出工具，将数据从数据导入Hive，将Hive导入数据库等 *** 作。

Flume数据采集框架，可以从多种源读取数据。

Azkaban对 *** 作进行管理，比如定时脚本执行，有图形化界面，上传job简单，只需要将脚本打成bao，可直接上传。

2hadoop的可以做离散日志分析，一般流程是:

将web中的数据取过来通过flume，然后通过预处理mapreduce,一般只是使用map就可以了，就是将数据中没有用处的数据去除掉，将数据转换比如说时间的格式，Agent的组合，并将数据进行处理之后以固定格式输出，由Hive处理，Hive是作用是将数据转换出一个表，RTL就是写SQL的一个过程，将数据进行分析，然后将数据报表统计，这个时候使用的是pig数据分析hive一般作为库，pig做分析，我没有使用pig，因为感觉还没有hive的HQL处理方便，最后将含金量最大的数据放入到mysql中，然后将mysql中的数据变为可视图化的工具。

推荐的使用：当我们浏览一各网页的时候，将数据的值值传递给后台保存到log中，后台将数据收集起来，hadoop中的fiume可以将数据拿到放入到HDFS中，原始的数据进行预处理，然后使用HIVE将数据变为表，进行数据的分析，将有价值的数据放入到mysql，作为推荐使用，这个一般是商城，数据的来源也是可以通过多种方式的，比如说隐形、js、日志等都可以作为采集数据的来源。

3hadoop中的HDFS有两个重要的角色：NameNode、datanode，Yarn有两个主要的主角：ResourceManager和nodeManager

4分布式：使用多个节点协同完成一项或者多项业务功能的系统叫做分布式系统，分布式一般使用多个节点组成，包括主节点和从节点，进行分析

5mapreduce：是使用较少的代码，完成对海量数据的处理，比如wordCount，统计单词的个数。

实现思想：将单词一个一个的遍历，然后将单词加1处理，但是这是集群，那么就每个节点计算自己节点的数据，然后最后交给一个统计的程序完成就可以了，最后将单词和结果输出。

主节点不会存储数据，数据节点专门存储数据，主节点存储了元数据信息。

主节点的磁盘中存储了文件到块的关系，集群启动后，数据节点会报告名字节点 机器和块的关系，这两个关系组合起来便可找到文件所在机器的位置。

如果名字节点所在的机器也配置到slave文件里，那么此台机器即是名字节点也是数据节点！

新修改的 1921681106 这个节点上，有hadoop这个用户吗，并且hadoop用户名和密码配置要正确。

看你的日志报错应该是权限的问题，hadoop启动是必须使用hadoop这个用户的。

以上就是关于Hadoop里面如何查看一个文件的分布在哪几个节点上全部的内容，包括:Hadoop里面如何查看一个文件的分布在哪几个节点上、hadoop作用、Hadoop集群的主节点会存储数据吗等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！