Linux里面spark作用是什么？

Spark是通用数据处理引擎，适用于多种情况。 应用程序开发人员和数据科学家将Spark集成到他们的应用程序中，以快速地大规模查询，分析和转换数据。 与Spark最频繁相关的任务包括跨大型数据集的交互式查询，来自传感器或金融系统的流数据处理以及机器学习任务。

Spark于2009年开始运作，最初是加州大学伯克利分校AMPLab内部的一个项目。 更具体地说，它是出于证明Mesos概念的需要而诞生的，Mesos概念也是在AMPLab中创建的。 在Mesos白皮书《 Mesos：数据中心中的细粒度资源共享平台》中首次讨论了Spark，其中最著名的作者是Benjamin Hindman和Matei Zaharia。

2013年，Spark成为Apache Software Foundation的孵化项目，并于2014年初被提升为该基金会的顶级项目之一。 Spark是基金会管理的最活跃的项目之一，围绕该项目成长的社区包括多产的个人贡献者和资金雄厚的企业支持者，例如Databricks，IBM和中国的华为。

从一开始，Spark就被优化为在内存中运行。 它比Hadoop的MapReduce等替代方法更快地处理数据，后者倾向于在处理的每个阶段之间向计算机硬盘写入数据或从计算机硬盘写入数据。 Spark的支持者声称，Spark在内存中的运行速度可以比Hadoop MapReduce快100倍，并且在以类似于Hadoop MapReduce本身的方式处理基于磁盘的数据时也可以快10倍。 这种比较并不完全公平，这不仅是因为原始速度对Spark的典型用例而言比对批处理更为重要，在这种情况下，类似于MapReduce的解决方案仍然很出色。

科研是使用LINUX 或 unix 的，基本不用windows，大多的工程软件都是直接用C写的，不会专门去移植到windows比较麻烦，而且科研机构都是使用linux可以做到真正的数据共享，系统共有（多用户，和windows下假的多用户是完全不同的）。同时linux有更好的安全性和稳定性和完全个人化，除非是做windows研究的不然谁会去用windows。

大数据的就业方向

大数据主要有三个就业方向，大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。又可分为以下十大职位：

一、ETL研发

ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

二、Hadoop开发

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。

三、可视化(前端展现)工具开发

可视化开发就是在可视开发工具提供的图形用户界面上，通过 *** 作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。

四、信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。

五、数据仓库研究

数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。

六、OLAP开发

OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

七、数据科学研究

数据科学家是分析师、艺术家的合体，需要具备多种交叉科学和商业技能。

八、数据预测(数据挖掘)分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

九、企业数据管理

企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证市场数据的完整性，准确性，唯一性，真实性和不冗余。

十、数据安全研究

数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。

---