数据库实现的核心技术是什么,和其他技术相比,它的核心在哪里

数据库实现的核心技术是什么,和其他技术相比,它的核心在哪里,第1张

数据库系统的核心和基础,

数据模型,现有的数据库系统均是基于某种数据模型的。

数据库系统的核心是数据库管理系统。

数据库系统一般由数据库、数据库管理系统(DBMS)、应用系统、数据库管理员和用户构成。DBMS是数据库系统的基础和核心。

这个问题可以从信息系统的本质或者概念来解释。

1.从信息系统的概念中,我们知道:计算机信息系统是

以提供信息服务为目的

人机交互的应用系统,管理信息系统从狭义上来说,是信息系统的用途分类的一种,无论何种信息系统,其最终目的都是提供信息服务。

2.信息系统如何提供信息服务呢?用最简单或直白的说法就是,用户向系统输入原始数据, *** 作命令并获得结果信息。在这个过程中,由于计算机是一种基于二进制运算的信息处理机器,任何需要由计算机进行处理的信息,都必须进行一定程度的形式化,并表示成二进制编码的形式,因此就有一个概念:数据。

3.无论何种信息系统,都离不开对数据的管理,"数据是计算机中对事实,概念或指令进行描述的一种特殊格式,这种(特殊)格式适合于使用计算机及其相关设备自动地进行传输,翻译(转换)或加工处理."在这个定义中,首先强调的是数据表达了一定的内容,即"事实,概念或指令",这就是数据的语义其次,数据具有一定的格式(即数据的语法),其目的是使计算机能自动进行加工处理,通信传递以及翻译转换.

4.在20世纪60年代中期以前,数据主要是用文件系统进行管理,但这种管理方式受到文件系统局限性的限制,当时的信息系统主要为单项应用服务,其主要功能也只是代替人做一些事务性 *** 作。因此,自60年代中后期开始,以数据的集中管理和共享为特征的数据库系统逐步取代了文件系统,成为数据管理的主要形式.因而,为一个单位或更大范围的多项应用服务的综合信息系统出现了,其功能也从单纯的事务处理扩大到规划,分析,预测和决策等领域,这是信息系统的重要发展.

5.所以,就当前的信息技术、信息系统架构而言,数据库技术是管理信息系统的核心技术。

大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。

1、数据采集与预处理:FlumeNG实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,提供数据同步服务。

2、数据存储:Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。HBase,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。

3、数据清洗:MapReduce作为Hadoop的查询引擎,用于大规模数据集的并行计算。

4、数据查询分析:Hive的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

5、数据可视化:对接一些BI平台,将分析得到的数据进行可视化,用于指导决策服务。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/sjk/10035113.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-04
下一篇 2023-05-04

发表评论

登录后才能评论

评论列表(0条)

保存