linux下也有eclipse,为什么公司还要求在linux下编程

linux是开源免费版本 windows是商业版本

有些公司为了避免以后 *** 作系统版权问题而去使用linux

而且现在很多大公司都在部署linux 大数据服务器等应用

大数据系统类主要偏向于系统研发，比如Hadoop系统就属于系统类技术。这就要求熟悉Hadoop大数据平台的核心框架和组件，能够运用Java、R、Python等编程语言基于大数据平台来写代码开发应用，实现产品功能，支撑业务应用。首先，学习大数据是需要有Java，Python和R语言的基础。为什么一定要学Java呢?大数据的第一个框架Hadoop以及其他大数据技术框架，底层语言全是Java写的，所以推荐首选学习Java。Python学习起来比较容易。你学会了Java，再来学习Python会很简单的，一周的时间就可以入门Python。R语言也可以学习，但是更推荐Java，因为Java用的人最多，大数据的第一个框架Hadoop，底层全是Java写的。Hadoop：这是现在流行的大数据处理平台，几乎已经成为大数据的代名词。所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些。学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。

1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。

4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。

---