eclipse中mapreduce没有文件

hadoop三节点配置方案

pass

eclipse配置mapreduce

配置前的准备

下载相关文件

注意：箭头所指的ppt可下载下来进行对照配置，方框所指的文件为后续所需要的文件。

启动eclipse并添加mapreduce插件

1.在Windows中解压eclipse-java-2019-03-R-linux-gtk-x86_64.tar.gz

并确定文件内容是否完整

2.将eclipse文件夹拖入centos中（最好放在桌面）并确认文件夹内容是否完整

注意：之所以.eclipseproduct没看到，是因为以.开头的文件为隐藏文件

3.将事先下载好的hadoop-eclipse-plugin-2.6.0.jar文件拖入eclipse文件夹的dropins文件夹中

4.运行eclipse

[root@master eclipse]# ./eclipse

登录后复制

注意：箭头所指的地方，用默认已出现的路径就ok

5.添加mapreduce插件

并添加hadoop的路径

注意：/usr/local/src/hadoop为个人hadoop路径

6.添加mapreduce项目

双击下方图像中箭头所指的插件名称

下方箭头所指的文件名可以随便取

7.打开mapreduce的窗口

可以看到mapreduce窗口

8.启动master节点（一个就好）

注意：记得用root账户执行该命令

jps查看运行结果

9.使用eclipse连接节点

添加前，首先关闭hadoop里面关于hdfs的安全检查

修改为下列代码

接下来，便是添加连接

1：随便写的名字

2：主机的名字，也可以写127.0.0.1

3：固定写50070

4：参考hadoop目录下etc/hadoop/目录下的core-site.xml文件中的<value>hdfs://master:9000</value>

5：user name为hadoop运行时的权限用户

10.加载完后，my hadoop会加载出之前创建的input、output文件夹

如果没有，建议打开终端执行以下两条命令（记得用root执行命令）

[root@master hadoop]# hdfs dfs -mkdir /input

[root@master hadoop]# hdfs dfs -mkdir /output

登录后复制

之所以这里报错，是因为我已经创建了这个文件夹

创建wordcount项目

前提：Windows中的文件能够直接复制粘贴到centos中

点击WordCount.java，右击复制

返回centos中，进入eclipse，进行粘贴

修改WordCount.java

1.删除该串代码

2.修改该串代码

修改后：

上传dream.txt

将事先下载到windows中的dream.txt复制到centos桌面

使用终端上传至hadoop中

[root@master Desktop]# hdfs dfs -put dream.txt /input/dream.txt

登录后复制

刷新eclipse的my Hadoop节点，查看文件

运行WordCount.java

点击进入WordCount.java，并进行下图 *** 作

配置输入输出文件

将log4j.properties复制到src中

完成

复制hadoop路径下的etc/hadoop路径下的core-site.xml、hdfs-site.xml到src中

运行WordCount.java

完成

检验是否成功，可查看output文件是否生成对应的文档

hadoop

mapreduce

0套路，限时0元领，105G绝版通用流量卡，资费永久29

中国联通

广告

eclipse运行mapreduce的插件

5下载·0评论

2018年6月14日

eclipse配置mapreduce全教程

2294阅读·0评论·4点赞

2019年10月31日

MapReduce编程入门--用eclipse创建MapReduce工程

2804阅读·0评论·1点赞

2021年10月22日

Mac下eclipse的Hadoop开发环境配置中以及windows-＞preferences下看不到Hadoop/MapReduce的配置项问题解决

1077阅读·0评论·4点赞

2021年10月23日

eclipse开发MapReduce

804阅读·0评论·1点赞

2018年12月22日

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)

2888阅读·4评论·9点赞

2021年11月10日

Hadoop+eclipse运行MapReduce程序

1342阅读·0评论·0点赞

2015年11月24日

hadoop-eclipse-plugin-2.2.0.jar放到eclipse的plugins文件夹后，eclipse中没有map/reduce项

5359阅读·0评论·1点赞

2014年6月26日

无需安装虚拟机，Windows本地环境下使用Eclipse通过Hadoop进行MapReduce

867阅读·0评论·1点赞

2022年5月6日

Eclipse下编写hadoop的MapReduce程序

672阅读·0评论·0点赞

2019年4月28日

在Eclipse中实现MapReduce过程

870阅读·0评论·1点赞

2019年6月14日

调用MapReduce对文件中各个单词出现次数进行统计

864阅读·0评论·5点赞

2020年12月6日

Eclipse开发mapreduce程序环境搭建

3007阅读·1评论·4点赞

2019年8月30日

在Eclipse中运行第一个MapReduce程序

1736阅读·0评论·0点赞

2011年12月12日

Eclipse本地运行MapReduce

650阅读·0评论·0点赞

2018年6月3日

使用eclipse写mapreduce程序，然后打包程序到集群运行

259阅读·0评论·1点赞

2021年12月1日

使用Hadoop以及Eclipse平台，创建Hadoop项目——编写简单MapReduce程序，运行MapReduce词频统计程序，查看词频统计程序的结果。

2873阅读·0评论·0点赞

2022年4月29日

eclipse+MapReduce

41阅读·0评论·0点赞

2016年8月26日

Hadoop(MapReduce)入门 使用Eclipse开发

1.0W阅读·1评论·5点赞

2017年2月9日

在eclipse上搭建mapreduce开发环境及运行wordcount

9853阅读·0评论·0点赞

2017年2月8日

去首页

看看更多热门内容

1. 不适合事务/单一请求处理

MapReduce绝对是一个离线批处理系统，对于批处理数据应用得很好：MapReduce（不论是Google的还是Hadoop的）是用于处理不适合传统数据库的海量数据的理想技术。但它又不适合事务/单一请求处理。（HBase使用了来自Hadoop核心的HDFS，在其常用 *** 作中并没有使用MapReduce。）

2. 不能随即读取

3. 以蛮力代替索引

在索引是更好的存取机制时，MapReduce将劣势尽显。

4. low-level语言和 *** 作

“直接开始你想要的 -- 而不是展示一个算法，解释如何工作的。” (关系型数据库的观点) -- High level（DBMS）

“展示数据存取的算法。” (Codasyl 的观点) -- Low level（MapReduce）

5. 性能问题

想想N个map实例产生M个输出文件-每个最后由不同的reduce 实例处理, 这些文件写到运行map实例机器的本地硬盘. 如果N是1,000, M是500, map阶段产生500,000个本地文件. 当reduce阶段开始, 500个reduce实例每个需要读入1,000文件，并用类似FTP协议把它要的输入文件从map实例运行的节点上pull取过来. 假如同时有数量级为100的reduce实例运行, 那么2个或2个以上的reduce实例同时访问同一个map节点来获取输入文件是不可避免的-导致大量的硬盘查找, 有效的硬盘运转速度至少降低20%. 这就是为什么并行数据库系统不实现split文件, 采用push(推到socket套接字)而不是pull. 由于MapReduce的出色容错依赖于如何实现split文件, MapReduce框架是否成功地转向使用push范式, 不是很清楚.

6. 仅提供了现代DBMS功能的一小部分

作为用于分布式处理的算法技术，MapReduce不是数据库，不支持索引、数据更新、事务及完整性约束等，且与多数DBMS工具不兼容。

7. 不适合一般web应用

大部分web应用，只是对数据进行简单的访问，每次请求处理所耗费的资源其实非常小，它的问题是高并发，所以要采用负载均衡技术来分担负载。只有当特殊情况下，比如建索引，进行数据分析等，才可能用MR。

---