eclipse点击hadoopmap没反应

插件问题，网络问题。

1、eclipse点击hadoopmap没反应是搜穗因斗漏袜为插件有问题，可以尝试更换插件。

2、空激eclipse点击hadoopmap没反应是因为网络问题导致的，更换网络即可。

这个是 因为 在 yarn 执行MapReduce的使用 找不到 hadoop 的classpath

一般在 shell中输入

输出为雹枯斗

然后 这些输出 直接 粘贴到 yarn 的配置文件败亏里 yarn-site.xml

的 属性 <name>yarn.application.classpath</name>

赋值

对于 使用cdh 安装的 hadoop

直接修改 /etc/hadoop/conf/yarn-site.xml 然后重启yarn

还有这个错误

也是修改 yarn-site.xml 后源磨重启

检验 MapReduce 是否可用

hadoop jar ./hadoop-mapreduce-examples-2.8.2.jar wordcount /derby.log /outputs

map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交map/reduce作业源掘时应该在一个合理的范围内，这样既可以增强系统负载匀衡，也可以降低任务失败的开销。

1 map的数量

map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的没一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每散裂芹一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat 决定了map任务的个数比mapred.map.tasks值小时才起作用。同样，Map任务的个数也能通过使用JobConf 的conf.setNumMapTasks(int num)方法来手动地设置。这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于Hadoop系统通过分割输入数据冲毕得到的值。当然为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。

---