如何用scala语言编写 大型的spark 程序

第一阶段：熟练掌握Scala语言1，spark框架是采用scala语言写的，精致优雅。想要成为spark高手，你就必须阅读spark源码，就必须掌握scala。

2，虽然现在的spark可以使用多种语言开发，java,python，

1，构建系统的选择，sbt更合适用来构建Scala工程，maven更合适用来构建Java工程

2，对于spark中的API来说，Java和Scala有差别，但差别并不大

3，如果用Scala开发spark原型程序，可以用spark-shell逗打草稿地，或者直接使用spark-shell做交互式实时查询

4，用Scala代码量将减少甚至一个数量级，不过Scala的使用门槛较高

建议：使用Scala构建spark作业，因为spark本身为sbt所构建，同时使用Scala开发spark作业将有助于理解spark的实现机制

作者：egraldlo

链接：

使用Scala写一个测试代码：

object Test { 

def main(args: Array[String]): Unit = { 

println("hello world") 

    } 

}

就把这个Test视为类，项目组织结构如：

然后设置编译选项：

然后在项目文件夹下面可以找到编译好的Jar包：

复制到Spark指定的目录下（自己建的）：

启动Spark，然后提交任务：

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar

---