中心数据库设计

5221 数据库

根据该系统的开发需求，按照数据库的功能和作用将其分为风险查询类、风险评价类、系统管理类三大类（萨师煊等，2000）。主要数据见表55。

表55 海外油气与金属矿产资源开发风险管理系统的主要数据表

续表

5222 数据仓库

油价数据来源于美国能源部（DOE）下属的能源信息署（EIA）网站、中石油（CNPC）网站和《华尔街日报》（WSJ）网站提供的油价数据，油价序列本身就是一个不规则的时间序列，油价数据具有以下几个特点。

（1）数据的一致性差

油价数据格式多样，存在数据冗余，主要体现在：使用的数据格式均不相同，并且各个子系统相对独立。在网站单独作用的情况下，一般都没有问题，但要将这些不同系统或不同时期的数据集中起来综合利用，就可能出现数据不齐全、不一致或重复的现象。

（2）数据存放的分散

油价数据来源多，缺乏统一管理，没有一种相应的网页数据自动化抓取 *** 作实现数据的本地化 *** 作过程。

（3）数据资源开发不充分

大容量数据导致对数据资源的开发利用不充分，缺乏对获取的数据如各分析机构制定的期货合约元数据进行各种深层次分析、综合、提炼、挖掘和展现的应用，因此很难对丰富的统计数据资源进行二次开发利用。

根据油价数据中所包含的油气产品种类、油气产品合约制定日期、油气产品的价格类型、不同市场下油气产品价格的差异等，能够加深对油价走势的了解。油价的这种与时间相关性、不可修改性，以及集成的性质，使得我们采用多种角度对原始数据进行理解，并真实反映其特性，也让我们发现使用一种整合的技术对油价进行精确预测十分必要。

数据仓库的构建流程如图513所示由下至上逐步实现。

图513 数据仓库构建流程

1）数据源。

A数据源的复杂性。数据分散在数据库管理系统、电子表格、电子邮件系统、电子文档甚至纸上。系统中要求采集的3个数据源中，EIA 网站存储在网页上的油价相关事件更新较慢，虽然提供了各市场日、周、月、年的油价数据下载，但是下载完成之后的表格字段格式时常发生变化，这为实现自动获取数据并下载到本地自动入库的要求增加了难度；中石油网站数据除上述只显示3条数据之外，网站上会将访问流量过大的IP地址列入黑名单使其不能继续下载到本地进行保存，为这些数据建立统一的模型将会耗费很大精力。

B数据的有效性。由于存在经验局限，如何处理数据的空值、不同时间间隔时间字段格式，入库时应注意的问题等，如果应用程序没有检验数据的有效性，会对数据多维显示产生极大影响，因此也归结为数据源数据质量问题。

C数据的完整性。数据源上的数据并不那么明显或者容易获得。油价是高度敏感的数据，因此各个网站虽然提供了各个油品交易市场的日、月或年数据，但是完整性并不能充分保证，根据企业政策的不同，有时对要获得的数据，需花费大量精力。为此，要对不同的数据源进行建库，以保证所获数据的完整性。

2）数据处理。

高效的多维数据集展示离不开底层数据源数据的精确获取，或者叫做数据理解和数据清洗。于是系统在基于元数据获取、加工、入库和多维数据集展示上实现预期的要求。

AETL。该功能是整个油价数据仓库的核心之一，主要功能是按照事先定义的数据表对应关系从相关系统表中抽取数据（Extraction），经过数据清洗和转换（Transform）,最终把正确的数据装载到数据仓库的源数据中（Load），作为以后应用的基础。

B数据转换。该功能是在数据抽取过程中按照定义的规则转换数据，避免了数据在分析时的多样性，保证数据一致性。

C数据集成。该功能主要是把油价信息数据仓库系统的源数据，按照事先定义的计算逻辑以主题的方式重新整合数据，并以新的数据结构形式存储。

3）数据存储。

星型模型（星型架构）是数据仓库开发中多维展现重要的逻辑结构，构成星型模型的几个重要特征是：维、度和属性，在实际应用中表示为事实表和维度表。在油价数据中，各市场的期现货价格表为数据仓库的事实表，油品类型、合约规定日期等为维度表。

油价数据仓库星型模型的设计方案如下：

A事实表。数据库表中EIA的期现货价格表（包括日、周、月、年表）作为数据仓库中的事实表，根据不同时间维度构成多个星型模型，即星座模型。这些价格表中以市场编号、油气产品类型、期货合约日期、价格单位度量衡编号作为主键和外键与其他维度表相连，形成多维展示联动的基础，以油价数据和其他事实数据为记录数据，作为主要输出结果。

B维度表。根据市场、油品、价格数据、度量衡和事件类型作为油气数据仓库中多维分析的角度和目标。

图514以EIA的日期货数据表作事实表为例，构建星型模型，其他不同时间维度的模型结构图与此图基本相同。

图514 以EIA数据为例的日期货价格星型模型

以星型模型设计为基础，完善数据存储中 *** 作型数据存储（ODS）的原型设计，提供DB-DW之间中间层的数据环境，可实现 *** 作型数据整合和各个系统之间的数据交换。

设计一个数据库需要我们耐心收集和分析数据，仔细理清数据间的关系，消除对数据库应用不利的隐患等等。在整个设计过程中，我们必须按步骤认真完成。一个数据库的设计好坏将直接影响将来基于该数据库的应用。

另外，数据库也不是独立存在的，它总是与具体的应用相关的，为具体的应用而建立的。因此在设计数据库之前我们必须明确应用的目的，在设计数据库的时候也应时刻考虑用户需求，数据库与具体应用之间是相辅相成的关系。

数据库的设计过程一般包括以下几个步骤：

确定建立数据库的目的和收集数据；

建立概念模型；

建立数据模型；

实施与维护数据库；

1．确定建立数据库的目的和收集数据

数据库设计过程的第一个阶段是确定建立数据库的目的和收集数据。通常，我们也把确定建立数据库的目的称为需求分析。需求分析的任务就是通过详细调查要处理的对象来明确用户的各种需求。并且通过调查、收集和分析信息，以了解在数据库中需要存储哪些数据，要完成什么样的数据处理功能。这一过程是数据库设计的起点，它将直接影响到后面各个阶段的设计，并影响到设计结果是否合理和实用。

确定目的之后就需要根据目的收集有用的数据。在着手收集数据之前最重要的就是要调查用户的实际需求，然后分析与表达这些需求。调查用户需求的方法有很多，如查阅记录、访谈、开调查会、设计调查表请用户填写或回答相关问题等。其中比较有效的方法是访谈，我们可以借助一些设计合理的调查表来与用户直接交流。通过充分交流，可以了解他们平时是如何使用数据库的，以及对当前信息的要求，进而设计满足用户需求的字段，并根据设计的字段收集数据。

2．建立概念模型

确定建立数据库的目的以及完成数据收集后，就进入数据库设计过程的第二阶段——建立概念模型。这一阶段是整个数据库设计的关键。设计时，一般先根据应用的需求，画出能反映每个应用需求的E-R图，其中包括确定实体、属性和联系的类型。然后优化初始的E-R图，消除冗余和可能存在的矛盾。概念模型是对用户需求的客观反映，并不涉及具体的计算机软、硬件环境。因此，在这一阶段中我们必须将注意力集中在怎样表达出用户对信息的需求，而不考虑具体实现问题。

3．建立数据模型

完成上一阶段后，我们得到了一个与具体计算机软、硬件无关的概念模型。接着我们就可以着手建立数据库模型了，这是数据库设计过程的第三个阶段。在这一阶段中我们要将概念模型中得到的E-R图转换成具体的数据模型。通过前面的学习，我们已经了解到数据模型一般分为层次、网状、关系和面向对象模型等。目前比较常用的是关系数据模型，我们通常将E-R图转换成关系数据模型，实际上就是要将实体、实体的属性和实体之间的联系转换为关系模式。

4．实施与维护数据库

最后一个阶段是实施与维护数据库。完成数据模型的建立后，我们就必须对字段进行命名，确定字段的类型和宽度，并利用数据库管理系统或数据库语言创建数据库结构、输入数据和运行等，因此数据库的实施是数据库设计过程的“最终实现”。如果数据库运行很成功，则表明数据库设计任务基本结束，以后的重点就是数据库的维护工作，包括做好备份工作、数据库的安全性和完整性调整、改善数据库性能等。

数据库的设计在数据库应用系统的开发中占有很重要的地位。只有设计出合理的数据库，才能为建立在数据库上的应用提供方便。不过数据库的设计过程从来都不会有真正的结束，因为随着用户需求和具体应用的变化和扩大，数据库的结构也可能会随之变化。

数据库基本的功能：

信息浏览和查询；

信息的修改、添加和删除；

信息的统计、汇总等。

设计数据库时要注意保留以下内容：

设计文档、内容 *** 作说明，实例数据库、帮助及过程性文件（如下载的资源、工作日志）等。

一、数据库设计的生存期

按照规范设计的方法，考虑到数据库及其应用系统开发的全过程，将数据库设计分为六个阶段。如下图。

① 需求分析

需求收集和分析，得到用数据字典描述的数据需求，用数据流图描述的处理需求。

② 概念结构设计

对需求进行综合、归纳与抽象，形成一个独立于具体DBMS的概念模型（用E-R图表示）。 ③ 逻辑结构设计

将概念结构转换为某个DBMS所支持的数据模型（例如关系模型），并对其进行优化。

④ 物理结构设计

为逻辑数据模型选取一个最适合应用环境的物理结构（包括存储结构和存取方法）。

⑤ 数据库实施

运用DBMS提供的数据语言（例如SQL）及其宿主语言（例如C），根据逻辑设计和物理设计的结果建立数据库，编制与调试应用程序，组织数据入库，并进行试运行。

⑥ 数据库运行和维护

数据库应用系统经过试运行后即可投入正式运行。在数据库系统运行过程中必须不断地对其进行评价、调整与修改。

说明：设计一个完善的数据库应用系统是不可能一蹴而就的，它往往是上述六个阶段的不断反复。

步骤阅读

2

二、数据库设计阶段的内容

设计步骤既是数据库设计的过程，也包括了数据库应用系统的设计过程。下面针对各阶段的设计内容给出各阶段的设计描述。如下图。

步骤阅读

步骤阅读

3

三、数据库设计阶段的模式

数据库结构设计的不同阶段形成数据库的各级模式，如下图。 需求分析阶段：综合各个用户的应用需求；

概念设计阶段：形成独立于机器特点，独立于各个DBMS产品的概念模式，即E-R图；

逻辑设计阶段：将E-R图转换成具体的数据库产品支持的数据模型，如关系模型，形成数据库逻辑模式；然后根据用户处理的要求、安全性的考虑，在基本表的基础上再建立必要的视图，形成数据的外模式；

物理设计阶段：根据DBMS特点和处理的需要，进行物理存储安排，建立索引，形成数据库内模式。

资料包括： 论文( 36页16360字) 文献综述

原文：

在数据库应用系统开发之前，对开发数据库的基本概念应当了解，对数据库的结构、开发数据库应用程序的步骤、开发体系及方法都应当有相当清晰的了解和认识。

数据库应用系统开发的目标是建立一个满足用户长期需求的产品。开发的主要过程为：理解用户的需求，然后，把它们转变为有效的数据库设计。把设计转变为实际的数据库，并且这些数据库带有功能完备、高效能的应用。

数据库技术在计算机软件邻域研究中一直是非常重要的主题，产生于60年代，30多年来数据库技术得到了迅速发展，并已形成较为完整的理论体系和一大批实用系统。并且，近年来，随着World Wide Web(>

以上就是关于中心数据库设计全部的内容，包括:中心数据库设计、谈谈与数据库设计步骤相关的话题( 1 ) 同学们已学习完“项目一-需求分析”模、数据库设计等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！