微软发布 .NET for Apache Spark 性能碾压Python、Scala和Java

上图显示了针对Apache Spark与Python和Scala的NET的每个查询性能。NET for Apache Spark在Python和Scala上运行良好。此外，在UDF性能至关重要的情况下，例如查询1，其中在JVM和CLR NET之间传递3B行非字符串数据，Apache Spark比Python快2倍。

同样重要的是要说这是我们为Apache Spark首次推出的NET，我们的目标是进一步投资改进和基准性能（例如Arrow优化）。您可以按照我们的说明在我们的GitHub仓库上对此进行基准测试。

NET for Apache Spark是将NET打造成构建大数据应用程序的重要技术堆栈的第一步。近期规划路线

开源地址：>

Spark是通用数据处理引擎，适用于多种情况。 应用程序开发人员和数据科学家将Spark集成到他们的应用程序中，以快速地大规模查询，分析和转换数据。 与Spark最频繁相关的任务包括跨大型数据集的交互式查询，来自传感器或金融系统的流数据处理以及机器学习任务。

Spark于2009年开始运作，最初是加州大学伯克利分校AMPLab内部的一个项目。 更具体地说，它是出于证明Mesos概念的需要而诞生的，Mesos概念也是在AMPLab中创建的。 在Mesos白皮书《 Mesos：数据中心中的细粒度资源共享平台》中首次讨论了Spark，其中最著名的作者是Benjamin Hindman和Matei Zaharia。

2013年，Spark成为Apache Software Foundation的孵化项目，并于2014年初被提升为该基金会的顶级项目之一。 Spark是基金会管理的最活跃的项目之一，围绕该项目成长的社区包括多产的个人贡献者和资金雄厚的企业支持者，例如Databricks，IBM和中国的华为。

从一开始，Spark就被优化为在内存中运行。 它比Hadoop的MapReduce等替代方法更快地处理数据，后者倾向于在处理的每个阶段之间向计算机硬盘写入数据或从计算机硬盘写入数据。 Spark的支持者声称，Spark在内存中的运行速度可以比Hadoop MapReduce快100倍，并且在以类似于Hadoop MapReduce本身的方式处理基于磁盘的数据时也可以快10倍。 这种比较并不完全公平，这不仅是因为原始速度对Spark的典型用例而言比对批处理更为重要，在这种情况下，类似于MapReduce的解决方案仍然很出色。

以上就是关于微软发布 .NET for Apache Spark 性能碾压Python、Scala和Java全部的内容，包括:微软发布 .NET for Apache Spark 性能碾压Python、Scala和Java、简述spark的基本流程、Linux里面spark作用是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！