[spark]用idea写一个scala程序统计虚拟机里面的一个文件有几个a几个b？

下面是一个用Scala和Spark实现的统计虚拟机中文件中a和b数量的程序：

```scala

import org.apache.spark._

import org.apache.spark.SparkContext._

import org.apache.log4j._

object FileCharacterCount {

def main(args: Array[String]) {

Logger.getLogger("org").setLevel(Level.ERROR)

// 初始化SparkContext

val conf = new SparkConf().setAppName("FileCharacterCount").setMaster("local")

val sc = new SparkContext(conf)

// 读取文件并进行处理

val file = sc.textFile("path/to/your/file")

val aCount = file.flatMap(line =>line.toCharArray()).filter(c =>c == 'a').count()

val bCount = file.flatMap(line =>line.toCharArray()).filter(c =>c == 'b').count()

// 输出结果

println(s"文件中共有 $aCount 个 a 和 $bCount 个 b.")

}

}

```

在这个程序中，我们首先创建了一个`SparkConf`对象，指定了应用程序的名称和运行模式。然后，我们使用该配置对象初始化了一个`SparkContext`对象。接下来，我们使用`textFile`方法从指定路径读取了文件，并使用`flatMap`方法将每一行转换为一个字符数组。然后，我们使用`filter`方法过滤出所有的'a'和'b'字符，并使用`count`方法统计它们的数量。最后，我们打印出结果。

请注意，您需要将程序中的`path/to/your/file`替换为您要处理的文件的实际路径。

在“File|Project Structure|Libraries”窗体中点击绿色+号，选择“Java”，在d出的窗体中选择“Spark”的安装目录，定位到Spark\jars目录，点击“OK”，把全部jar文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本，采用的是把sparkle核心文件（如：“spark-assembly-1.3.0-hadoop2.4.0.jar”）拷贝到Interllij IDEA安装目录下的Lib目录下，再使用Spark。由于Spark2.1.0已经取消了该文件，因此无法用原先的方法。

---