Spark 中用 Scala 和 java 开发有什么区别

Scala到底是什么在目前众多的JVM语言当中，Scala无疑是最引人注意的语言之一。Scala是一个静态语言，更适合大型工程项目，Scala直接编译成Java字节码，性能接近Java。Scala是一个多范式的语言，你可以混合使用函数式和面向对象编程，混合使用可变类和不变类，混合使用Actor和传统的Java并发库。

短短一个月的时间，Scala于本月冲进了TIOBE的前五十名。一个 Twitter 的开发人员说过，Scala 将会成为现代 Web20 的发起语言。LinkedIn 也用这种语言。同样许多其他大的公司如 Sony Picture, EDF, SAP 也开始使用这种语言。为什么Scala发展这么迅猛，可以获得如此热烈的社区支持。

曾冠东还表示，Scala不是Java的杀手，它无法取代Java的地位，也突破不了JVM的限制、Java实现不了的功能它也实现不了。我们可以将Scala形象的理解成大量语法糖的Java。

Scala 开发团队发布了最新的292稳定版本，Scala 语言的特性有许多，例如高阶函数和对象、抽象类型绑定，actor 使得函数在 Scala 中能是一个子类成为可能，Scala 中的设计模式使得面向对象和函数编程无缝结合。Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。Spark 是一种可扩展的数据分析平台，它整合了内存计算的基元，因此，相对于 Hadoop 的集群存储方法，它在性能方面更具优势。Spark 是在 Scala 语言中实现的，并且利用了该语言，为数据处理提供了独一无二的环境。Scala 编译器可以生成字节码，直接运行在使用JVM上。该语言(它实际上代表了可扩展语言)被定义为可直接集成到语言中的简单扩展。

Scala作为一门静态语言，它的主要特性有哪些

· Scala是面向对象的

Scala是一个纯面向对象语言，在某种意义上来讲所有数值都是对象。对象的类型和行为是由class和trait来描述的。Class的抽象可由子类化和一种灵活的基于mixin的组合机制(它可作为多重继承的简单替代方案)来扩展。

· Scala是函数式的

Scala还是一个函数式语言，在某种意义上来讲所有函数都是数值。Scala为定义匿名函数提供了一种轻量级的语法，它支持高阶(higher-order)函数、允许函数嵌套、支持局部套用(currying)。Scala的case类及其内置支持的模式匹配模型代数类型在许多函数式编程语言中都被使用。

· Scala是静态类型的

Scala配备了一套富有表现力的类型系统，该抽象概念以一种安全的和一致的方式被使用。

· Scala是可扩展的

Scala的设计承认了实践事实，领域特定应用开发通常需要领域特定语言扩展。Scala提供了一个独特的语言组合机制，这可以更加容易地以类库的形式增加新的语言结构：

任何方式可以被用作中缀(infix)或后缀(postfix) *** 作符闭包按照所期望的类型(目标类型)自动地被构造

两者结合使用可方便地定义新语句，无需扩展语法，也无需使用类似宏的元编程工具。

· Scala可与Java和NET进行互 *** 作

Scala设计时就考虑了与流行编程环境良好交互，如Java 2运行时环境(JRE)和 NET框架(CLR)。特别是与主流面向对象语言，如Java和C#尽量无缝交互。Scala有像Java和C#一样的编译模型(独立编译，动态装载类)，允许访问成千上万的高质量类库。

在并发性方面，与 Scala 在 NET 领域中的姐妹语言 F# 相似，Scala 是针对 “并发性问题” 的解决方案之一，让开发人员能够更加轻松地专注于问题的实质，而不用考虑并发编程的低级细节。Actor 编程模式让高度并行应用程序的开发更加简单。Scala把Erlang风格的基于actor的并发带进了JVM。我们可以利用Scala的actor模型在JVM上设计具伸缩性的并发应用程序，以自动获得多核心处理器带来的优势，而不必依照复杂的Java线程模型来编写程序。Scala 为并发性提供了两种级别的支持，这与其他与 Java 相关的主题极为类似：

首先，对底层库的完全访问(比如说 javautilconcurrent)以及对 “传统” Java 并发性语义的支持(比如说监控程序和wait()/notifyAll())。其次，这些基本机制上面有一个抽象层

Scala 提供了在稳定的高性能平台(Java 虚拟机)上生成的能力同时也是一门敏捷性语言。这一类型的语言也有其他的选择，例如 Jython, JRuby, Groovy 和 Clojure, 但是这些都是运行在 JVM 上的动态类型语言。Open Class 的效果让大家会觉得Scala是动态语言，但它是选择隐式转换来实现的，这也正好证明了Scala是静态语言。隐式转换(Implicit conversion)使 Scala 具有类型安全性，正如扩展方法(extension method)之于 C#，开放类(open class)之于 ruby。即：向未曾定义的类型添加方法(如字符串、列表、整数)。这是使得 Scala 符合 DSL(特定领域语言)模型的特性之一。

Scala结合了面向对象和函数编程的优势，函数编程的一个好处就是你能够像运用一个数据那样运用函数，可以用来定义真正高层级的库，或者去定义新的领域特殊语言(DSL)。

在谈及Java与Scala的对比时，曾冠东表示，Scala能调用绝大部分的Java，而Java调用Scala独有的东西会比较难。Java 拥有非常强的概念规范，因此任何一个 Java 程序之间具有非常多的相似之处，并且这样能够方便的进行程序员交替。但是 Scala 并没有这样的统一性，因为这是一门很有表现力的语言。现场曾冠东为我们演示了实际案例，如下图所示：

正所谓，金无足赤，人无完人。Scala对二进制不兼容，语法也越来越复杂，不能突破Bytecode的限制、编译速度有所缓慢。当它被广泛用于单元测试、开发工具、Socket开发、以及面对多核挑战的并发应用。总而言之，Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。正如JRuby 创建者之一Charles Nutter 所宣称的那样Scala就是 Java 王位的合法继承人。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为广大软件工程师手上一件必不可少的工具。

虽然说java编程开发语言是目前大多数程序员学习的主流编程语言，但是java编程语言依然存在一些无法实现的内容，下面昌平java课程就一起来了解一下，程序员是如何突破java编程的局限性的。

Java功能强大、生态丰富，已无需多言。但类型、语法与编程范式方面，存在一些局限性，也长期为人所诟病。

所以，有不少开发人员试图去寻求其他语言，既可以突破Java的这些局限，又可以与Java和谐共处。

Java的祖师爷们也是非常明智，一开始就将编程语言Java与运行时环境JVM分离。

JVM负责与 *** 作系统的交互，屏蔽了具体 *** 作系统的细节，制订了一整套生成字节码的规范，使得前面这一构想得以顺利实施。

如今有众多语言运行在JVM上，Groovy、Scala、Kotlin、Clojure可能算得上是其中的佼佼者。

Groovy

Groovy是类似Ruby的动态语言，适合编写脚本、插件、测试例，DSL(领域特定语言)等。知名的自动化建构工具Gradle主要就基于Groovy。

Scala

Scala的设计初衷，就是在JVM上整合面向对象与函数式编程的各种特性。

大名鼎鼎的大数据处理框架Spark、消息中间件Kafka、用于构建可容错，可扩展、高并发应用的Akka，都是基于Scala语言编写。

Kotlin

前几日刚升级为Android官方开发语言的Kotlin，近期是一个热门。从前面讲到的Github上的star指数也可窥见一斑。

基于Kotlin的库和框架、官方工具的支持、教学视频、文档等，也肯定会层出不穷。

Clojure

Clojure被认为是基于JVM的Lisp方言，是函数式编程的铁杆。知名的大数据处理框架Storm主要就是由Clojure语言编写而成。

Ceylon

Ceylon是面向企业级应用设计开发的强静态类型编程语言，支持Java和JavaScript虚拟机。

Java自身在性能、语法、编程范式等方面，也是在不断地提高改进。

譬如Java8引入了Lambda表达式、Optional、Streams、Date/TimeAPI等，Java9带来了Jigsaw(模块化)等。

JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。下面就由福州卓跃教育就福州java培训过程中的一些经验具体介绍下JVM。

能运行在Java的虚拟机JVM上的程序意味着有天然的跨平台性，现在JVM并不单单只能运行Java程序，在JVM上出现了若干使用Java虚拟机运行的脚本程序，比如什么PHP, Python, Ruby等等，这里有一篇文章评论了在JVM上的可以运行的排名前五脚本语言。他们分别是：

1、Groovy。

构建在强大的Java语言之上 并添加了从Python，Ruby和Smalltalk等语言中学到的诸多特征，为Java开发者提供了现代最流行的编程语言特性，而且学习成本很低（几乎为零），在开发Web，GUI，数据库或控制台程序时，通过减少框架性代码大大提高了开发者的效率。支持单元测试和模拟（对象），可以简化测试。无缝集成 所有已经存在的Java对象和类库。直接编译成Java字节码，这样可以在任何使用Java的地方 使用Groovy。

2、JRuby。

一个纯Java实现的Ruby解释器。通过JRuby，你可以在JVM上直接运行Ruby程序，调用Java的类库。很多Java编写的Ruby IDE都是使用JRuby来解释语法的。

3、Scala。

一种多范式的编程语言，设计意图是要整合面向对象编程和函数式编程的各种特性。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。Scala的名称表明，它还是一种高度可伸缩的语言。Scala的设计始终贯穿着一个理念：创造一种更好地支持组件的语言。

4、Fantom 。

Fantom 前身是 (Fan) 是一个基于 Java 和 NET 平台的编程脚本引擎，用来在运行时产生 JVM 和 NET 平台的字节码，该语言是面向对象的，跟 Groovy 和 JRuby 有点类似，可通过特定的接口来集成 Java 的类库。

5、Jython。

Jython由于继承了Java和Python二者的特性而显得很独特。其是一种完整的语言，而不是一个Java翻译器或仅仅是一个Python编译器，它是一个Python语言在Java中的完全实现。

函数式语言

Elixir

Elixir 比 Erlang 更容易编写，具有 Haskell 等语言的函数式编程概念。Elixir是基于Erlang 虚拟机的，其广为人知的特点是运行低延时、分布式、可容错的系统，并成功用于Web开发与嵌入式软件领域。

Elm

Elm是一种用于构建 Web 应用程序的函数式语言。业内一般认为，它适用于创建高可交互应用，例如复杂的用户界面，开发人员可以通过 Elm 快速编写富有表现力的系统。Elm 也以没有运行时异常而闻名。

PureScript

PureScript是一种可编译为 JavaScript 的纯函数式编程语言。与 Haskell 最相似的是，PureScript 最适合用于开发 Web 应用程序和服务器端应用程序。

PureScript 支持类型推断，与其他语言相比，需要明显类型注释要少得多。

Swift

Swift是一种由苹果公司开发的通用编译编程语言，最早的设想是替代上一代编程语言Objective-C ，过程中结合了Objective-C、Rust、Ruby 和 Python等语言的编程思想。目前Swift用于开发苹果自己的手机、服务器、台式机上的应用软件。

程序语言

Go

Go语言是由谷歌公司创造的类似C风格的语言。Go 比 C++ 或 Java 更简洁，比 Ruby 或 Python 更安全。

一些缺点： 编码要求严格。比如，不能混用符号和无符号整数。还有一个明显的遗漏，Go语言没有泛型和继承。

但Go语言的优势同样明显，简单且易于使用。Go语言擅长于网络和多线程方面的编程。

面向对象语言

DART

Dart同样来自谷歌公司具有C语言风格。Dart可以轻松编写JavaScript、Java for Android、本地机器代码或独立的 Dart 虚拟机。它还可以运行后端代码。

Dart 非常适合使用事件驱动代码构建用户界面。根据Dart 团队成员的说法，Dart的优势：可选的静态类型、最小的编译时错误和强大的内置编辑器。

Pony

Pony是一种基于无数据竞争类型和垃圾收集的语言，并使用 actor 模型以及称为引用功能的东西。

你可以把 Pony 想象成某种“Rust 遇上 Erlang”的复合体，没有锁，高并发是其主要优点。

Pony 的缺点是 API 稳定性低、很少有高质量的第三方库和有限的本地工具。

TypeScript

TypeScript是一个基于 JavaScript 静态类型定义构建，并由微软维护且开源编程语言。Visual Studio Code 或Visual Studio 是推荐的IDE编辑器，微软大厂的用户体验和错误检查也不用怀疑。

复合编程语言

Hack

Hack是一种作为 PHP 方言的 HipHop 虚拟机的编程语言。于 2014 年由Facebook创建，允许程序员同时使用静态和动态类型（也称为渐进类型），这为编码提供了灵活性。

Julia

Julia是一种高级通用编程语言，用于计算科学和数值分析。Julia 以动态类型和可重现的高性能特性而闻名。

Julia 在数据可视化和机器学习等方面都有大量用途。事实上，它被英国保险公司 Aviva 用于风险计算，纽约联邦储备银行用于金融建模，甚至气候建模联盟用于气候变化建模。它拥有Fortran、C++、R、Java、C 、Python等的接口，这使其成为最受追捧的新语言之一。

Kotlin

Kotlin是运行在 Java 虚拟机中的更快、更流畅的 Java 版本。它现在是Android 开发的首选语言。根据 Android 开发者网站显示，程序员正转而采用 Kotlin，因为该语言的样板代码更少，空指针异常更少，并且与 Java 有互 *** 作性。

Kotlin 可用于在 iOS 和 Android 上运行的应用程序、不使用额外运行时或虚拟机。

Nim

Nim是一种优先考虑可读性的静态类型语言。通过结合多种语言的特性，Nim 为程序员提供了速度和易用性。

它带有 JavaScript 后端、分散的包管理、自动内存管理、C 和 C++ 库的绑定以及用于调试的回溯。作为一种语言，Nim 是有限的，但它包含一组元编程功能，如泛型、模板和宏，因此开发人员可以在避免冗长代码的同时以不同的风格工作。

OCaml作为此列表中较旧的语言，OCaml是一种多范式语言——既有函数式、命令式和类型安全，也具有面向对象功能。

OCaml 的一些优势：定义数据类型很容易。默认情况下，所有变量都是不可变的。API 稳定，具有良好的库向后兼容性。该语言还为独立应用程序提供自动内存管理和单独编译。

Reason

如果比JavaScript 更快、更简单且类型安全会怎样？

这就是创建Reason的 Facebook 开发者想要回答的问题。不过，他并没有从头开始构建一种新语言，而是采用了 OCaml，并将其调整为类似于 JavaScript。

Reason使用项目 BucketScript编译为 JavaScript，并且可以访问 80% 的 JavaScript 工具和生态系统。它还可以编译为准系统、iOS、Android 和微控制器。

Red

Red是一种最初旨在克服 Rebol 语言限制的编程语言。Red 于 2011 年推出，受 Rebol、Lua 和 Scala 等语言的影响，对高级和低级编程都很有用。

该语言可用于开发从高级 GUI 到低级 *** 作系统的所有方面。Red 拥有人性化的语法、低内存占用和垃圾收集等优点。

Rust

Rust解决了一些与 Go 相同的问题，如系统级别的线程和进程安全，，但Rust 更像 C 风格的语法

但Rust语言的缺点：静态类型和缺乏垃圾收集

Rust可直接访问内存意味着程序员可以编写低级代码，如 *** 作系统内核。Rust 也非常适合嵌入式设备、网络服务和命令行编写。

Scala编程语言近来抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。Christopher Diggins认为：

不太久之前编程语言还可以毫无疑义地归类成“命令式”或者“函数式”。Scala代表了一个新的语言品种，它抹平了这些人为划分的界限。

根据David Rupp在博客中的说法，Scala可能是下下一代Java这么高的评价让人不禁想看看它到底是什么东西。

Scala有几项关键特性表明了它的面向对象的本质。例如，Scala中的每个值都是一个对象，包括基本数据类型（即布尔值、数字等）在内，连函数也是对象。另外，类可以被子类化，而且Scala还提供了基于mixin的组合（mixin-based composition）。

与只支持单继承的语言相比，Scala具有更广泛意义上的类重用。Scala允许定义新类的时候重用“一个类中新增的成员定义（即相较于其父类的差异之处）”。Scala称之为mixin类组合。

Scala还包含了若干函数式语言的关键概念，包括高阶函数（Higher-Order Function）、局部套用（Currying）、嵌套函数（Nested Function）、序列解读（Sequence Comprehensions）等等。

Scala是静态类型的，这就允许它提供泛型类、内部类、甚至多态方法（Polymorphic Method）。另外值得一提的是，Scala被特意设计成能够与Java和NET互 *** 作。Scala当前版本还不能在NET上运行（虽然上一版可以），但按照计划将来可以在NET上运行。

Scala可以与Java互 *** 作。它用scalac这个编译器把源文件编译成Java的class文件（即在JVM上运行的字节码）。你可以从Scala中调用所有的Java类库，也同样可以从Java应用程序中调用Scala的代码。用David Rupp的话来说，

它也可以访问现存的数之不尽的Java类库，这让（潜在地）迁移到Scala更加容易。

这让Scala得以使用为Java14、50或者60编写的巨量的Java类库和框架，Scala会经常性地针对这几个版本的Java进行测试。Scala可能也可以在更早版本的Java上运行，但没有经过正式的测试。Scala以BSD许可发布，并且数年前就已经被认为相当稳定了。

说了这么多，我们还没有回答一个问题：“为什么我要使用Scala？”Scala的设计始终贯穿着一个理念：

创造一种更好地支持组件的语言。（《The Scala Programming Language》，Donna Malayeri）

也就是说软件应该由可重用的部件构造而成。Scala旨在提供一种编程语言，能够统一和一般化分别来自面向对象和函数式两种不同风格的关键概念。

藉着这个目标与设计，Scala得以提供一些出众的特性，包括：

面向对象风格

函数式风格

更高层的并发模型

Scala把Erlang风格的基于actor的并发带进了JVM开发者现在可以利用Scala的actor模型在JVM上设计具伸缩性的并发应用程序，它会自动获得多核心处理器带来的优势，而不必依照复杂的Java线程模型来编写程序。

轻量级的函数语法

高阶

嵌套

局部套用（Currying）

匿名

与XML集成

可在Scala程序中直接书写XML

可将XML转换成Scala类

与Java无缝地互 *** 作

Scala的风格和特性已经吸引了大量的开发者，比如Debasish Ghosh就觉得：

我已经把玩了Scala好一阵子，可以说我绝对享受这个语言的创新之处。

总而言之，Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为你手上一件必不可少的工具。