数据库技术的发展趋势

下一代数据库技术的发展主流

针对关系数据库技术现有的局限性，理论界如今主要有三种观点 :

面向对象的数据库技术将成为下一代数据库技术发展的主流 　部分学者认为现有的关系型数据库无法描述现实世界的实体，而面向对象的数据模型由于吸收了已经成熟的面向对象程序设计方法学的核心概念和基本思想，使得它符合人类认识世界的一般方法，更适合描述现实世界。甚至有人预言，数据库的未来将是面向对象的时代。

面向对象的关系数据库技术 　关系数据库几乎是当前数据库系统的标准，关系语言与常规语言一起几乎可完成任意的数据库 *** 作，但其简洁的建模能力、有限的数据类型、程序设计中数据结构的制约等却成为关系型数据库发挥作用的瓶颈。面向对象方法起源于程序设计语言，它本身就是以现实世界的实体对象为基本元素来描述复杂的客观世界，但功能不如数据库灵活。因此部分学者认为将面向对象的建模能力和关系数据库的功能进行有机结合而进行研究是数据库技术的一个发展方向。

面向对象数据库技术 　面向对象数据库的优点是能够表示复杂的数据模型，但由于没有统一的数据模式和形式化理论，因此缺少严格的数据逻辑基础。而演绎数据库虽有坚强的数学逻辑基础，但只能处理平面数据类型。因此，部分学者将两者结合，提出了一种新的数据库技术——演绎面向对象数据库，并指出这一技术有可能成为下一代数据库技术发展的主流。

数据库技术发展的新方向

非结构化数据库是部分研究者针对关系数据库模型过于简单，不便表达复杂的嵌套需要以及支持数据类型有限等局限，从数据模型入手而提出的全面基于因特网应用的新型数据库理论。支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构信息 （重复数据和变长数据）中有着传统关系型数据库所无法比拟的优势。但研究者认为此种数据库技术并不会完全取代如今流行的关系数据库，而是它们的有益的补充。

数据库技术发展的又一趋势

有学者指出 ：数据库与学科技术的结合将会建立一系列新数据库，如分布式数据库、并行数据库、知识库、多媒体数据库等，这将是数据库技术重要的发展方向。其中，许多研究者都对多媒体数据库作为研究的重点，并认为多媒体技术和可视化技术引入多媒体数据库将是未来数据库技术发展的热点和难点。

未来数据库技术及市场发展的两大方向数据仓库电子商务　部分学者在对各个数据库厂商的发展方向和应用需求的不断扩展的现状进行分析的基础上，提出数据库技术及市场在向数据仓库和电子商务两个方向不断发展的观点。他们指出 ：从上一年开始，许多行业如电信、金融、税务等逐步认识到数据仓库技术对于企业宏观发展所带来的巨大经济效益，纷纷建立起数据仓库系统。在中国提供大型数据仓库解决方案的厂商主要有Oracle、IBM、Sybase、CA及Informix等厂商，已经建设成功并已收回投资的项目主要有招商银行系统和国信证券系统等。当前，国内外学者对数据仓库的研究正在继续深入。与此同时，一些学者将数据库技术及市场发展的视角瞄准电子商务领域，他们认为 ：如今的信息系统逐渐要求按照以客户为中心的方式建立应用框架,因此势必要求数据库应用更加广泛地接触客户，而Internet给了我们一个非常便捷的连接途径，通过Internet我们可以实现所谓的One One Marketing和One One business，进而实现E business。因此，电子商务将成为未来数据库技术发展的另一方向。

面向专门应用领域的数据库技术　许多研究者从实践的角度对数据库技术进行研究，提出了适合应用领域的数据库技术如工程数据库、统计数据库、科学数据库、空间数据库、地理数据库等。这类数据库在原理上也没有多大的变化，但是它们却与一定的应用相结合，从而加强了系统对有关应用的支撑能力，尤其表如今数据模型、语言、查询方面。部分研究者认为，随着研究工作的继续深和数据库技术在实践工作中的应用，数据库技术将会更多朝着专门应用领域发展。 数据和数据处理

数据（Data）是用于描述现实世界中各种具体事物或抽象概念的，可存储并具有明确意义的符号，包括数字，文字，图形和声音等.数据处理是指对各种形式的数据进行收集，存储，加工和传播的一系列活动的总和.其目的之一是从大量的，原始的数据中抽取，推导出对人们有价值的信息以作为行动和决策的依据；目的之二是为了借助计算机技术科学地保存和管理复杂的，大量的数据，以便人们能够方便而充分地利用这些宝贵的信息资源.

数据库

数据库（DataBase,DB）是存储在计算机辅助存储器中的，有组织的，可共享的相关数据集合.数据库具有如下特性.

⑴数据库是具有逻辑关系和确定意义的数据集合.

⑵数据库是针对明确的应用目标而设计，建立和加载的.每个数据库都具有一组用户，并为这些用户的应用需求服务.

⑶一个数据库反映了客观事物的某些方面，而且需要与客观事物的状态始终保持一致.

数据库管理系统及其基本功能

数据库管理系统（DataBase Management System,DBMS）是对数据库进行管理的系统软件，它的职能是有效地组织和存储数据，获取和管理数据，接受和完成用户提出的各种数据访问请求.能够支持关系型数据模型的数据库管理系统，称为关系型数据库管理系统（Relational DataBase Management System,RDBMS).

RDBMS的基本功能包括以下4个方面：

⑴数据定义功能：RDBMS提供了数据定义语言(Data Definition Language,DDL），利用DDL可以方便地对数据库中的相关内容进行定义.例如，对数据库，表，字段和索引进行定义，创建和修改.

⑵数据 *** 纵功能：RDBMS提供了数据 *** 纵语言(Data Manipulation Language,DML），利用DML可以实如今数据库中插入，修改和删除数据等基本 *** 作.

⑶数据查询功能：RDBMS提供了数据查询语言（Data Query Language,DQL），利用DQL可以实现对数据库的数据查询 *** 作.

⑷数据控制功能：RDBMS提供了数据控制语言(Data Control Language,DCL），利用DCL可以完成数据库运行控制功能，包括并发控制（即处理多个用户同时使用某些数据时可能产生的问题），安全性检查，完整性约束条件的检查和执行，数据库的内部维护（例如索引的自动维护）等.RDBMS的上述许多功能都可以通过结构化查询语言(Structured Query Language,SQL）来实现的，SQL是关系数据库中的一种标准语言，在不同的RDBMS产品中，SQL中的基本语法是相同的.此外，DDL,DML,DQL和DCL也都属于SQL.

⒈3.4数据库应用系统及其组成

数据库应用系统又简称为数据库系统，是指拥有数据库技术支持的计算机系统，它可以实现有组织地，动态地存储大量相关数据，提供数据处理和信息资源共享服务的功能.

各类人员主要参与数据库应用系统的需求分析，设计，开发，使用，管理和维护，他们在数据库应用系统的开发，运行及维护等阶段扮演着不同的角色，并起着不同的作用.各类人员主要包括以下几种.

⑴最终用户.

⑵系统分析员.

⑶应用程序员.

⑷数据库管理员(DataBase Administrator,DBA). 从其应用方式来看，数据库技术主要起着两方面的作用.

⑴信息系统开发作用.利用数据库技术以及互联网技术，并结合具体的编程语言，可以开发一个信息系统，从而解决业务数据的输入和管理问题.在信息系统开发中，主要利用的是RDBMS的基本功能，即数据定义功能，数据 *** 纵功能，数据查询功能以及数据控制功能.

⑵数据分析与展示作用.利用RDBMS的数据查询功能对数据库中的数据进行关联组合或逐级汇总分析，并以表格，图形或报表形式将分析结果进行展示，从而解决业务数据的综合利用问题.

1、数据库应用开发 (application development)

除了基本的SQL方面的知识，还要对开发流程，软件工程，各种框架和开发工具等等

数据库应用开发这个方向上的机会最多，职位最多。

2、数据建模专家 (data modeler)

除了基本的SQL方面的知识，非常熟悉数据库原理，数据建模负责将用户对数据的需求转化为数据库物理设计和物理设计，这个方向上在大公司（金融，保险，研究，软件开发商等）有专门职位，在中小公司则可能由程序员承担。

3、商业智能专家 (business intelligence - BI)

主要从商业应用，最终用户的角度去从数据中获得有用的信息，涉及OLAP (online analytical processing) ，需要使用SSRS, cognos, crystal report等报表工具，或者其他一些数据挖掘，统计方面的软件工具。

4、ETL开发 (ETL Developer)

使用ETL工具或者自己编写程序在不同的数据源之间对数据进行导入，导出，转换，所接触的数据库一般数据量非常大，要求进行的数据转换也比较复杂和数据仓库和商业智能的关系比较密切。在一些数据库应用规模很大的公司里面有专门的职位，中小公司里面则可能由程序员或者DBA负责这方面的工作。

5、数据构架师 (Data Architect)

主要从全局上制定和控制关于数据库在逻辑这一层的大方向，也包括数据可用性，扩展性等长期性战略，协调数据库的应用开发，建模，DBA之间的工作。这个方向上在大公司（金融，保险，研究，软件开发商等）有专门职位， 在中小公司或者没有这个职位，或者由开发人员，DBA负责。

6、数据库管理员 (database administrator - DBA)

数据库的安装，配置，调优，备份/恢复，监控，自动化等，协助应用开发（有些职位还要求优化SQL，写存储过程和函数等）。这个方向上的职位相对少一些，但一般有点规模的公司还是会有这样的职位

7、数据仓库专家 (data warehouse - DW)

应付超大规模的数据，历史数据的存储，管理和使用，和商业智能关系密切，很多时候BI和DW是放在一个大类里面的，但是我觉得DW更侧重于硬件和物理层上的管理和优化。

8、存储工程师 (storage engineer)

专门负责提供数据存储方案，使用各种存储技术满足数据访问和存储需求，和DBA的工作关系比较密切。对高可用性有严格要求（比如通信，金融，数据中心等）的公司通常有这种职位， 这种职位也非常少。

9、性能优化工程师 (performance engineer)

专长数据库的性能调试和优化，为用户提供解决性能瓶颈方面的问题。也有专门的性能优化工程师，负责为其数据库产品和关键应用提供这方面的技术支持。对数据库性能有严格要求的公司（比如金融行业）可能会有这种职位。 因为针对性很强，甚至要求对多种数据库非常熟悉，所以职位极少。

10、高级数据库管理员 (senior DBA)

在DBA的基础上，还涉及上面3种职位的部分工作，具体包括下面这些：对应用系统的数据（布局，访问模式，增长模式，存储要求等）比较熟悉。对性能优化非常熟悉，可以发现并优化从SQL到硬件I/O，网络等各个层面上的瓶颈，对于存储技术相对熟悉，可能代替存储工程师的一些工作，对数据库的高可用性技术非常熟悉（比如MSSQL的集群，ORACLERAC/FailSafe, IBM的DPF, HADR等），对大规模数据库有效进行物理扩展（比如表分区）或者逻辑扩展（比如数据库分区，联合数据库等）。熟悉各种数据复制技术，比如单向，双向，点对点复制技术，以满足应用要求。灾难数据恢复过程的建立，测试和执行。这种职位一般只在对数据库要求非常高并且规模非常大（比如金融，电信，数据中心等）的公司需要，而且这种公司一般有一个专门独立负责数据库的部门或组。这种职位非常少。

1、在大数据采集与预处理方向

这方向最常见的问题是数据的多源和多样性，导致数据的质量存在差异，严重影响到数据的可用性。针对这些问题，目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM的Data Stage)。

2、在大数据存储与管理方向

这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些方面的问题。在大数据存储和管理方向，尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。

3、大数据计算模式方向

由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算(如Hive)、批处理计算(如Hadoop MapReduce)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana)，而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。

4、大数据分析与挖掘方向

在数据量迅速膨胀的同时，还要进行深度的数据深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等。