先编译:
scalac test.scala
再执行:
scala -classpath . HelloWorld (这里HelloWorld为代码中的对象名称)
scala中执行外部命令(scala.sys.process)发表回复
目前 scala.sys.process 已经封装的足够简单。参考: http://itang.iteye.com/blog/1126777
scala>import scala.sys.process._
// 只需在结尾用!号,就表示执行外部命令
scala>val list = "ls -l" !
还可以重定向,甚至可以在java对象与命令之间:
scala>new java.net.URL( " http://www.iteye.com ") #>
new java.io.File("/tmp/iteye.html") !
注意,重定向必须用 new java.io.File("") 封装,否则会当作命令,比如
scala>"ls" #>"/tmp/a" !
将会出错,必须
scala>"ls" #>new java.io.File("/tmp/a") !
管道的用法:
scala>val list = "ls -l" #| "grep P" !
不能在命令表达式中直接用管道, 比如 "ls | grep XXX" 这样不灵,必须用 #| 声明。
更多参考: https://github.com/harrah/xsbt/wiki/Process
//2012.6.15
要把System.getProperties 里的内容重定向到一个文件如何实现?
下面的方法不行,它会将第一个表达式的结果当作命令来执行
scala> System.getProperties.toString #>new java.io.File("/tmp/env") !
直接将文字重定向到一个文件,我现在还不知道怎么做。只能变通用写文件的啰嗦方式。
Spark是通用数据处理引擎,适用于多种情况。 应用程序开发人员和数据科学家将Spark集成到他们的应用程序中,以快速地大规模查询,分析和转换数据。 与Spark最频繁相关的任务包括跨大型数据集的交互式查询,来自传感器或金融系统的流数据处理以及机器学习任务。Spark于2009年开始运作,最初是加州大学伯克利分校AMPLab内部的一个项目。 更具体地说,它是出于证明Mesos概念的需要而诞生的,Mesos概念也是在AMPLab中创建的。 在Mesos白皮书《 Mesos:数据中心中的细粒度资源共享平台》中首次讨论了Spark,其中最著名的作者是Benjamin Hindman和Matei Zaharia。
2013年,Spark成为Apache Software Foundation的孵化项目,并于2014年初被提升为该基金会的顶级项目之一。 Spark是基金会管理的最活跃的项目之一,围绕该项目成长的社区包括多产的个人贡献者和资金雄厚的企业支持者,例如Databricks,IBM和中国的华为。
从一开始,Spark就被优化为在内存中运行。 它比Hadoop的MapReduce等替代方法更快地处理数据,后者倾向于在处理的每个阶段之间向计算机硬盘写入数据或从计算机硬盘写入数据。 Spark的支持者声称,Spark在内存中的运行速度可以比Hadoop MapReduce快100倍,并且在以类似于Hadoop MapReduce本身的方式处理基于磁盘的数据时也可以快10倍。 这种比较并不完全公平,这不仅是因为原始速度对Spark的典型用例而言比对批处理更为重要,在这种情况下,类似于MapReduce的解决方案仍然很出色。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)