如何配置Eclipse来使用Java编写Spark App

1 环境准备

Eclipse 请不要使用最新的 Neon(46) ，太多Bug了。 还是使用最新的 Mars(45) 系列吧

JDK 版本8x （Linux推荐Oracle， 没有测试过OpenJDK）

因为只是用Java，因此无需安装Scala及其相应的插件

2 创建一个新的maven项目

3 pomxml

<dependency>

<groupId>orgapachehadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>260</version>

<exclusions>

<exclusion>

<groupId>javaxservlet</groupId>

<artifactId></artifactId>

</exclusion>

</exclusions>

</dependency>

<dependency>

<groupId>orgapachespark</groupId>

<artifactId>spark-core_210</artifactId>

<version>161</version>

</dependency>

<dependency>

<groupId>orgapachespark</groupId>

<artifactId>spark-streaming_210</artifactId>

<version>161</version>

</dependency>

<dependency>

<groupId>orgapachespark</groupId>

<artifactId>spark-mllib_210</artifactId>

<version>161</version>

</dependency>

<dependency>

<groupId>orgscala-lang</groupId>

<artifactId>scala-library</artifactId>

<version>2105</version>

</dependency>

这里只列出了必要的几个依赖。 其他的请根据你自己的项目需求添加

4 使用maven打包

之后在Goal 之中填写clean package 即可

如果在修改了与Spark相关的代码之后，需要重新编译打包才行。 否则会有异常提示。

5 代码编写注意事项：

在创建JavaSparkContext的时候，需要把自己加进去。

public static JavaSparkContextgetContext(String taskName) {

JavaSparkContextsc = new JavaSparkContext(SparkConnUtilsgetSparkConf(taskName));

scaddJar("target/sparkstat-001-SNAPSHOTjar");

return sc;

}

其中target/sparkstat-001-SNAPSHOTjar是maven 运行之后生成的完整的jar包

你的spark集群的主机的hosts列表中有master对应的ip吗，看看/etc/hosts中有没有一行，如果spark的主机也就是master是本地机器，就用setMaster("spark://localhost:7077")：

好了；

建议还是用Idea来编spark程序

以上就是关于如何配置Eclipse来使用Java编写Spark App全部的内容，包括:如何配置Eclipse来使用Java编写Spark App、在Eclipse中跑一个Spark的算Pi例子。报错如下:、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！