hadoop1.2.1运行程序怎么打jar

但是生产环境中，更多的情况是：没有ide环境，且各应用最终生成的jar包部署在应用服务器上（应用服务器并非hadoop集群中的服务器节点），所以需要jar能独立运行并能连接到hadoop环境，以下是关键点：

1. pom.xml中将WordCount所依赖的jar包依赖项，全添加进来（这样最终运行时，这些jar包就不用依赖ide或hadoop运行环境）

2. 参考maven: 打包可运行的jar包(java application)及依赖项处理 一文将依赖的jar包导出，且通过maven插件自动修改MANIFEST.MF中的Main-Class信息

3. core-site.xml要复制到maven项目的resources目录下（这样打包后，xml会复制到classpath下，运行时，根据这个配置文件，WordCount就能知道去连哪里的hadoop）

4. 部署时，将最终生成的WordCount jar包及依赖的lib包，全上传到应用服务器

然后就能直接以类似

其实，你弄错了hadoop的真正意图。首先，hadoop不适合于开发WEB程序。hadoop的优势在于大规模的分布式数据处理。负责数据的分析并采用分布式数据库(hbase)来存储。但是，hadoop有个特点是，所有的数据处理作业都是批处理的，也就是说hadoop在实时性上是不占优势的。对于WEB应用来说，你也许可以做的是，将系统的数据处理部分分离出来交给hadoop去做。关于hadoop的数据处理有一个专门的工具:hive。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 希望对你有帮助

.在Eclipse中执行Ant的脚本编译出现问题

Copy

to clipboard

Posted by: njord

Posted on: 2003-08-19

11:40

信息如下：

compile:

[javac]

Compiling 15 source files to

E:\work_home\OakingSecurity\build\classes

[javac] BUILD FAILED:

file:E:/work_home/OakingSecurity/build.xml:48: Unable to find a javac

compiler

com.sun.tools.javac.Main is not on the classpath.

Perhaps

JAVA_HOME does not point to the

JDK

我的系统变量设置了JAVA_HOME的，在命令行直接运行ant都没有问题。

请问这是怎么回事？是不是还要在Eclipse中设置什么？

2.Re:在Eclipse中执行Ant的脚本编译出现问题 [Re: njord]

Copy

to clipboard

Posted by: fengyifan

Posted on: 2003-08-19

21:49

put tools.jar in ant classpath

3.Re:在Eclipse中执行Ant的脚本编译出现问题 [Re: njord]

Copy

to clipboard

Posted by: babyoracle

Posted on: 2003-08-20

07:42

用这个方法就可以了

http://www.cjsdn.com/post/view?bid=7&id=45620&sty=3&tpg=1&age=0

4.Re:在Eclipse中执行Ant的脚本编译出现问题 [Re: njord]

Copy

to clipboard

Posted by: njord

Posted on: 2003-08-22

13:03

在Eclipse的首选项中可以配置ANT_HOME，但又出现如下错误：

BUILD FAILED:

java.lang.VerifyError: (class:

org/apache/xerces/parsers/IntegratedParserConfiguration, method:

configurePipeline signature: ()V) Incompatible type for getting or setting

field

Total time: 94 milliseconds

为什么？

5.Re:在Eclipse中执行Ant的脚本编译出现问题 [Re: feng]

Copy

to clipboard

Posted by: njord

Posted on: 2003-08-22

13:12

feng wrote:

put tools.jar in ant

classpath

用Eclipse默认的ANT选项，然后加上tools.jar是可以了，不过它又提示不支持junit任务，晕倒～

[junit]

BUILD FAILED: file:E:/work_home/OakingSecurity/build.xml:76: Could not create

task or type of type: junit.

Ant could not find the task or a class this

task relies upon.

而我用自己下载的Ant1.5.3又出现前面帖子的错误提示，为什么？

6.Re:在Eclipse中执行Ant的脚本编译出现问题 [Re: njord]

Copy

to clipboard

Posted by: njord

Posted on: 2003-08-22

13:19

---