云计算的核心技术有哪些

在云计算系统中运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术更为关键。而根据各企业对云计算人才的技能需求不同，求职者也要学习不同的技能，比如比如你计划从事大数据、nosql领域，你需要掌握Hadoop、Hbase、Cassandra以及一些理论（CAP、Base等）；如果你想要从事云平台（Iaas、Paas）相关工作，你可以研究虚拟化技术（kvm、hyper-v等等）、OpenStack、esxi等技术。

电脑是由硬件和软件组成的，就硬件来说，核心技术当然是芯片技术，主要CPU，南北桥，显示芯片、存储芯片、接口芯片等等，软件的核心技术当然是 *** 作系统，还有实现各种功能的应用软件。现在电脑技术有扩展到了网络技术，其中的核心技术就更多了，包括服务器、网络设备、浏览器、搜索引擎等等。

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。
4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。

---