如何用scala语言编写 大型的spark 程序

如何用scala语言编写 大型的spark 程序,第1张

第一阶段:熟练掌握Scala语言1,spark框架是采用scala语言写的,精致优雅。想要成为spark高手,你就必须阅读spark源码,就必须掌握scala。

2,虽然现在的spark可以使用多种语言开发,java,python,

1,构建系统的选择,sbt更合适用来构建Scala工程,maven更合适用来构建Java工程

2,对于spark中的API来说,Java和Scala有差别,但差别并不大

3,如果用Scala开发spark原型程序,可以用spark-shell逗打草稿地,或者直接使用spark-shell做交互式实时查询

4,用Scala代码量将减少甚至一个数量级,不过Scala的使用门槛较高

建议:使用Scala构建spark作业,因为spark本身为sbt所构建,同时使用Scala开发spark作业将有助于理解spark的实现机制

作者:egraldlo

链接:


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/12189572.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存