Spark 中用 Scala 和 java 开发有什么区别

在Spark应用开发上，学Scala主要好处有二：

1开发效率更高，代码更精简；

2使用Spark过程中出现异常情况，在排查时如果对Spark源码比较熟悉，可以事半功倍。

因为语言上的差异，用Java开发Spark应用要罗嗦许多, 还有Java没有shell，这也是一个不方便的地方。另外Spark还不是很成熟，问题也不少，会Scala的话可以去看源码，也可以更容易和社区交流。

1、Spark脚本提交/运行/部署11spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192168180216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行 *** 作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sctextFile(inputpath,10)读取数据资源等。12spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在testscala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192168180216:7077

以上就是关于Spark 中用 Scala 和 java 开发有什么区别全部的内容，包括:Spark 中用 Scala 和 java 开发有什么区别、java 怎么提交应用程序到spark standalone集群中去运行、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！