大数据的核心技术有哪些

1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。

4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。

1、多媒体数据库

这类数据库主要存储与多媒体相关的数据，如声音、图像和视频等数据。多媒体数据最大的特点是数据连续，而且数据量比较大，存储需要的空间较大。

2、移动数据库

该类数据库是在移动计算机系统上发展起来的，如笔记本电脑、掌上计算机等。该数据库最大的特点是通过无线数字通信网络传输的。移动数据库可以随时随地地获取和访问数据，为一些商务应用和一些紧急情况带来了很大的便利。

3、数据库技术在多媒体技术方面的应用。

相对比传统的数据库技术，这种结合了多媒体技术的数据库，以多媒体技术的优势使得数据界面的丰富化并对于两者结合所可能带来的相关技术问题给予了充分解决，相关数据库方面的安全性得到了很好的提高。

多媒体数据库设计中有很多问题需要解决：用户接口支持方面、数据库组织与存储方面、媒体种类增加方面信息的分布影响方面。

4、信息检索系统

信息检索就是根据用户输入的信息，从数据库中查找相关的文档或信息，并把查找的信息反馈给用户。信息检索领域和数据库是同步发展的，它是一种典型的联机文档管理系统或者联机图书目录。

5、分布式信息检索

这类数据库是随着Internet的发展而产生的数据库。它一般用于因特网及远距离计算机网络系统中。特别是随着电子商务的发展，这类数据库发展更加迅猛。

许多网络用户（如个人、公司或企业等）在自己的计算机中存储信息，同时希望通过网络使用发送电子邮件、文件传输、远程登录方式和别人共享这些信息。分布式信息检索满足了这一要求。