数据库逻辑模型

数据库关系模型（数据库逻辑模型）是将数据概念模型转换为所使用的数据库管理系统（DBMS）支持的数据库逻辑结构，即将E-R图表示成关系数据库模式。数据库逻辑设计的结果不是唯一的，需利用规范化理论对数据库结构进行优化。

在关系模型中，数据库的逻辑结构是一张二维表。在数据库中，满足下列条件的二维表称为关系模型：

1）每列中的分量是类型相同的数据；

2）列的顺序可以是任意的；

3）行的顺序可以是任意的；

4）表中的分量是不可再分割的最小数据项，即表中不允许有子表；

5）表中的任意两行不能完全相同。

由此可见，有序的航空物探测量剖面数据不满足数据库关系模型条件第3条“行的顺序可以是任意的”，因此，不能简单地直接利用关系数据库（如Oracle，SQL Server，Sybase等）来管理剖面数据，需将数据在数据库中的存储方式改为大字段存储，确保不因数据库数据的增加和删除等 *** 作改变剖面数据有序特性。

一、大字段存储

（一）大字段存储技术

大字段LOB（Large Object）技术是Oracle专门用于存放处理大对象类型数据（如多媒体材料、影像资料、文档资料等）的数据管理技术。LOB包括内部的和外部的两种类型。内部LOB又分CLOB（字符型）、BLOB（二进制型）等3种数据类型，其数据存储在数据库中，并且支持事务 *** 作；外部LOB只有BFILE类型，其数据存储在 *** 作系统中，并且不支持事务 *** 作。LOB存放数据的长度最大可以达到4G字节，并且空值列（没有存放数据）不占空间（图2-6）。

图2-6 大字段存储示意图

由于外部LOB存放在 *** 作系统文件中，其安全性比内部LOB差一些。此外，大字段的存储支持事务 *** 作（批量提交和回滚等），而外部LOB不支持事务 *** 作。所以，航空物探测量剖面数据采用BLOB来存储。对于BLOB类型，如果数据量小于4000字节，数据库通常采用行内存储，而数据量大于4000字节采用行外存储。分析航空物探测量剖面数据，每个场值数据占4个字节（单精度），目前航磁数据采样率为10次/s，4000字节只能存储100 s数据；一般情况下航空物探测量每条测线飞行时间至少在10 min以上，每条测线数据量远远大于4000字节。所以，航空物探测量剖面数据采用行外存储方式，即大字段列指定“Disable Storage In Row”的存储参数。

由于大字段类型长度可变，最大可到4G。假设测线飞行时间为T，场值采样率为n次/s，测线场值数据量为4Tn，所以有4Tn≤4G。单条测线飞行时间T不会超过10 h（36000 s，航空物探测量1架次至少飞行1个往返2条测线），则场值的采样率n≤4G/4T=4×1024×1024×1024/4×36000次/s=29826次/s。采用大字段来存储测量数据，不仅能够减少数据表的记录数，提高查询效率，而且使得采样率的扩展不受限制。

（二）大字段存储技术应用

由于航空物探数据的数据量较大，现有的航磁测量数据按基准点方式（点存储）存储可达几亿个数据记录。若按磁场数据采样点存储方式（简称“场值存储方式”），则记录条数=（磁场数据采样率/坐标采样率）点存储方式的记录数，达几十亿条数据记录，且随着数据采样率的扩展、测点的加密，航空物探测量数据量随着时间的推移呈现快速增长之势。显然，如果采用常规的表结构来存储，势必造成数据的存储、管理、检索、浏览和提取都非常困难。另一方面，从航空物探专业应用需求来说，很少对单个测点的场值数据进行运算、分析等 *** 作，一般至少是对一条测线或以上测线，多数时候是需要对整个测区的场值数据进行化极、上延、正反演拟合等。

因此，在航空物探数据库表结构设计时，改变过去将基准点或场值点数据记录作为数据库最小管理对象的理念，采用了大字段存储技术，将测线作为数据库最小管理对象，将测线上的测量数据，如坐标数据和磁场、重力场数据分别存储在相应大字段中。在航空物探数据库建设中，大量采用数据库的大字段存储技术（详见《航空物探信息系统数据库结构设计》）。

（三）大字段存储效率

以航磁测量数据为例分析大字段存储技术优势。如果以场值存储方式存储测线数据，则每条记录包含架次号、测线号、基准号、地理坐标、投影坐标、磁场数据等，由于坐标数据采样率2次/s，磁场数据采样率10次/s，每5个磁场数据中，只有第1个磁场数据有坐标数据，其他4个坐标数据是内插出来，因此在测线记录中会产生大量冗余的数据坐标数据。采用点存储方式存储的测线数据记录数等于线上基准点数，若采用大字段存储方式，一条测线数据只存储为1条数据记录（图2-7），一般一条测线的测点数近万个，甚至更多，可见采用大字段存储大大减少测线数据存储记录数，提高数据的存取效率。

以某测区的两条航迹线为例，分别采用3种方式测试数据库的数据存储效率。磁场数据的采样率10次/s，坐标数据采样率2次/s，两条测线上共有基准点8801个。以场值方式存储先内插坐标信息，使得每个场值数据都拥有自己的坐标，然后存入数据库，共有数据记录44005条，写入数据库时间为57.22 s，读取时间为1.03 s。第二种方式是以采样点的方式进行存储，共有8801条记录，写入数据库时间为9.47 s，读取需要0.91 s。第三种方式是以大字段的形式存储，只有2条记录，写入数据库1.03 s，读取时间为0.44 s（表2-2）。大字段数据存储记录数最少，存取效率最高。用整个测区数据测试效果更加明显。

表2-2 三种数据存储方法的存取效率比较

图2-7 大字段存储方式示意图

二、联合主键

主外键是关系型数据库建立表间关系的核心。在航空物探空间数据库建设过程中，要素类与要素类之间、要素类与对象类之间，以及对象类与对象类之间的关系的描述有3种形式，即拓扑关系——描述要素类与要素类之间结点、邻接和联通关系；叠加关系——描述要素类与要素类之间的相交、包含与分类关系；隶属关系——描述对象类与对象类之间的派生关系。前两种关系是采用空间数据模型建立的关系，而隶属关系是通过主键建立的对象类与对象类之间的关系。在建立一对一、一对多的表间关系时，需要在整个数据库表中确定具有唯一性的一个字段作为主键（主关键字）。

按照传统的航空物探数据的档案管理模式，每个项目分配一个自然数作为档案号，项目的所有资料均与此档案号相联系。勘查项目和科研项目的档案号是独立编号的，且均从001开始。加之人工管理的原因，存在1个项目2个档案号和2个项目1个档案号的情况，因此现行的档案号与项目之间的对应关系不具备唯一性，不能作为项目的唯一标识，即不能作为数据库表的主键。项目编号也不能作为数据库表的主键，项目编号也只是近十年的事，以前的项目没有项目编号。

综合考虑上述因素和项目具有分级、分类的特点，提出了构造项目唯一标识码（简称“项目标识”）的方法，并以此码作为数据库表的主键。

项目标识（主键）：AGS+项目类别（2位）+项目起始年份（4位）+档案号（6位）

标识含义：AGS——航空物探的缩位代码；

项目类别——2位代码，01代表勘查项目、02代表科研项目；

起始年份——4位代码，项目开始年号；

档案号——6位代码，为了与传统的项目管理方式相衔接，后面3～4位是

项目档案管理模式下的档案号，不足部分补零。

以上15位编码是一级项目的项目标识，二级及其以下级别的项目标识是在上一级项目标识基础上扩展2位数字代码，中间用“.”号隔开，数字为该级项目的序号。项目标识定义为30位编码，适用于六级以内的项目。例如：AGS022004000576.08.04.02，表示该项目为2004年开展的档案号为576的航空物探科研项目（一级项目）的第8课题（二级项目）第4子课题（三级项目）的第2专题。由此可见，该项目标识不仅仅是一个建立表间关系的关键字，同时还表达了不同级别项目间的隶属关系。在系统软件开发时，利用此关系生成了项目的分级树形目录，用户对项目的层次关系一目了然，便于项目查询。

数据库的主键一经确定，相应地需要确定联合主键的组成及其表达方式。所谓联合主键就是数据资料的唯一标识，在一个数据库表中选择2个或者2个以上的字段作为主键。由于航空物探数据绝大部分与项目标识有关，加之数据的种类较多，分类复杂，单凭主键确定数据库表中记录的唯一性，势必需要构建极其复杂的主键，这种方法既不利于主键的数据 *** 作，又会造成大量的数据冗余，合理地使用联合主键技术可以很好地解决资料唯一问题。以项目提交资料为例，提交的资料分为文字类资料、图件类资料和媒体类资料，我们对资料进行分类和编号，例如100代表文字资料（110——World文档，120——PDF文档），200代表图件资料（210——基础地理资料、220——基础地质资料，230——航迹线图，240——剖面图，250——等值线图等），300代表媒体资料（310——PPT文档，320——照片等），第1位（百位）表示该资料的类型，第2～3位表示该类资料的序号。

在数据库管理和项目资料查询时，采用项目标识与资料分类编号作为联合主键（图2-8），可以高效地实现复杂数据的查询。在整个数据库系统中多处（项目查询、数据提取等模块）使用联合主键技术。

图2-8 联合主键实例

三、信息标准化

为了实现数据共享，在航空物探数据库建模过程中，参考和引用了近百个国家信息化标准，编制了4个中心信息化标准和1个图件信息化工作指南。

（一）引用的国家信息化标准

1）地质矿产术语分类代码：地球物理勘查，地球化学勘查，大地构造学，工程地质学，结晶学及矿物学，矿床学，水文地质学，岩石学，地质学等。

2）国家基础信息数据分类与代码，国土基础信息数据分类与代码，地球物理勘查技术符号，地面重力测量规范，地面磁勘查技术规程，地面高精度磁测技术规程，大比例尺重力勘查规范，地理信息技术基本术语，地理点位置的纬度、经度和高程的标准表示法，地名分类与类别代码编制规则。

3）地球空间数据交换格式；数学数字地理底图数据交换格式；数字化地质图图层及属性文件格式。

（二）本系统建立的信息化标准

编写了“航空物探空间数据要素类和对象类划分标准”，“航空物探项目管理和资料管理分类代码标准”，“航空物探勘查分类代码标准”，“航空物探信息系统元数据标准”，“航空物探图件信息化工作指南”，以便与其他应用系统进行信息交换，实现数据库资料共享。

航空物探空间数据要素类和对象类划分标准：根据物探方法、数据处理过程以及推断解释方法和过程，把与GIS有关的数据划分为不同类型的要素类-对象类数据，按专业、比例尺、数据内容对要素类和对象类进行统一命名，使空间数据库中的每个要素类和对象类的命名具有唯一性，防止重名出现。规定要素类-对象类数据库表结构及数据项数值类型。

航空物探项目管理和资料管理分类代码标准：规定了航空物探项目管理和资料管理的相关内容，包括航空物探勘查项目和科研项目的项目立项、设计、实施、成果、评审、资料汇交等项目管理的全过程中的内容，以及项目成果资料和收集资料的归档、发送、销毁、借阅等资料管理与服务过程中的内容和数据项代码。

航空物探勘查分类代码标准：在“地质矿产术语分类代码 地球物理勘查”（国家标准GB/T 9649.28—1998）增加了航磁、航重专业方面所涉及的数据采集、物性参数、方法手段、仪器设备、资料数据解释及成图图件等内容和数据项代码。

航空物探信息系统元数据标准：规定了航空物探空间数据管理与服务的元数据（数据的标识、内容、质量、状况及其他有关特征）的内容。

四、航迹线数据模型

（一）航迹线模型的结构

航空物探测量是依据测量比例尺在测区内布置测网（测线和切割线）。当飞机沿着设计的测线飞行测量时，航空物探数据收录系统按照一定的采样率采集采样点的地理位置、高度和各种地球物理场信息。采用属性数据分置的方法，将测线地理位置信息从航空物探测量数据中分离出来，形成航迹线要素类表，在此表中只存储与航迹线要素类有关的数据，如项目标识、测区编号、测线号、测线类型（用于区分测线、切割线、不同高度线、重复线等）、坐标、高度值等；将航迹线的对象类数据（磁场、重力场基础数据）分别以大字段形式存储在各自的二维表中，它们共享航迹线，解决了多源有序不同采样率的航空物探测量数据的数据存储问题，在满足要素类空间查询的同时，统一数据的存储方式（图2-9）。航迹线要素类隶属于测区要素类，它们之间为空间拓扑（包含）关系。测区从属于勘查项目，每个勘查项目至少有一个测区，它们之间为1对多关系。有关项目信息存放在项目概况信息对象类表中，各种表之间通过项目标识进行联接。

图2-9 航迹线数据模型结构

（二）航迹线的UML模型

统一建模语言UML（Unified Modeling Language）是一种定义良好、易于表达、功能强大且普遍适用的建模语言。它溶入了软件工程领域的新思想、新方法和新技术。UML是面向对象技术领域内占主导地位的标准建模语言，成为可视化建模语言的工业标准。在UML基础上，ESRI定义了空间数据库建模的ArcGIS包、类库和扩展原则。

图2-10 与航迹线有关的数据库表逻辑模型结构图

在确定航迹线数据模型后，以它为基础，使用UML完成与航迹的有关的项目概况信息、测区信息、原始数据等数据库表逻辑模型设计（图2-10）。

由UML模型生成Geodatabase模式时，模型中的每个类都对应生成一个要素类或对象类。类的属性映射为要素类或对象类的字段。基类属性中包含的字段，在继承类中不需重复创建。例如，每个类都包括项目标识等字段，可以创建一个包含公共属性的基类，其他类从该类继承公共的属性，而无需重复建基类中包含的属性。因为基类没有对应的要素类或对象类，所以将基类设置为抽象类型。要素类之间的关系采用依赖关系表示。

五、数据库逻辑模型

关系数据库的逻辑结构由一组关系模式组成，因而从概念结构到关系数据库逻辑结构的转换就是将概念设计中所得到的概念结构（ER图）转换成等价的UML关系模式（图2-11）。在UML模型图中，要素数据集用Geodatabase工作空间下的静态包表示。要素集包不能互相嵌套，为了容易组织，在生成物理模型后，在要素数据集包中自定义嵌套。要素数据集与空间参考有关，但是空间参考不能在UML中表达。要素类和二维表都是以类的形式创建的，区别是要素类继承Feature Class的属性，而二维表继承Object属性。为了表达每种元素的额外属性，比如设置字符型属性字段的字符串长度，设置要素类的几何类型（点、线或面）需要使用Geodatabase预定义的元素标记值。

图2-11 逻辑设计关系转换

基于航空物探数据的内在逻辑关系进行分析，使用统一建模语言（UML）构建数据实体对象间的关系类，定义了航空物探数据库的逻辑模型（图2-12）。

这个图是画出来的吧！

微软有专门画图的工具Microsoft Office Visio 2003，你用这个就可以了！

或者在sqlserver里面有一个关系图，你新建一个，一直点下一步，等下就有图出来了！这个的前提是你必须已经是建好数据表，数据关系的！

新一轮油气资源评价数据库是建立在国家层面上的数据库，数据库设计首先立足于国家能源政策和战略制定的宏观要求，还要结合油气资源评价的工作特征和各个评价项目及资源的具体情况。使用当前最流行和最成熟的数据库技术进行数据库的总体结构设计。

数据库的设计以《石油工业数据库设计规范》为指导标准，以《石油勘探开发数据》为设计基础，借鉴前人的优秀设计理念和思路，参考国内外优秀的资源评价数据库和油气资源数据库的设计技术优势，结合本轮资源评价的具体特点，按照面向对象的设计和面向过程的设计相结合的设计方法，进行数据库的数据划分设计。

油气资源评价数据库要满足新一轮全国油气资源评价工作的常规油气资源评价、煤层气资源评价、油砂资源评价、油页岩资源评价四个油气资源评价的数据需求。进行数据库具体数据内容设计。

并且，数据库的设计要为油气资源评价的快速、动态评价和远程评价工作的需求保留足够数据扩展接口，数据库具有良好开放性、兼容性和可扩充性。

（一）数据划分

数据库内存放的数据将支持资源评价的整个过程。为了能更好地管理库中数据，需要对整个过程中将用到的数据进行分类管理。具体分类方式如下（图4-11）：

图4-11 数据分类示意图

1.按照应用类型划分

按照数据在资源评价过程中的应用类型划分，可以划分为基础数据、参数数据和评价结果数据。

基础数据是指从勘探生产活动及认识中直接获取的原始数据，这些数据一般没有经过复杂的处理和计算过程。如分析化验数据、钻井地质数据、盆地基础数据等。这些数据是整个评价工作的基础。

参数数据是指在评价过程中各种评价方法和软件直接使用的参数数据。

评价结果数据是指资源评价中产生的各种评价结果数据，如资源量结果数据、地质评价结果数据等。

2.按照评价对象划分

本次评价共分为大区、评价单元、计算单元三个层次，在研究中又使用了盆地、一级构造单元，在评价对象总体考虑中按照评价对象将数据划分为大区、评价单元、计算单元等类型。

3.按照获取方式划分

按照获取方式可以将数据分为直接获取、研究获取、间接获取几类。

4.按照存储类型划分

按照存储类型可以将数据划分为结构化数据和非结构化数据。

结构化数据是指能够用现有的关系数据库系统直接管理的数据，进一步又可以分为定量数据和定性数据两类。

非结构化数据是指不能用现有的关系数据库系统直接管理和 *** 作的数据，它必须借助于另外的工具管理和 *** 作。如图件数据、文档数据等。

库中数据类型的划分共分六个层次逐次划分，包括：数据存储类型→资源类型→评价对象→应用→获取方式→数据特征。

对于结构化存储的数据在应用层分为三类：基础数据、中间数据和结果数据，基础数据中包含用于类比的基础数据、用于统计分析的基础数据和直接用于公式运算的基础数据；结构化存储的数据在获取方式上可以继续划分，其中，用于公式运算的数据可以细化为专家直接录入、由地质类比获取、通过生产过程获取、通过地质研究过程获取及其他方式。中间数据可以从以下方式获取：标准、统计、类比、参数的关联。结果数据的获取有两种方式：公式运算结果和通过钻井、地质、综合研究等提交的文字报告。

对于非结构化存储的数据在应用层分为两类：图形数据和文档数据。

图形数据在获取方式上可以继续划分成四种方式：通过工程测量数据获取（如地理图件、井位坐标数据等）、通过地质研究过程获取（如沉积相图、构造区划图等）、由综合研究获取（如综合评价图等）、其他方式。

图形数据在表现方式上又可以进一步分为有坐标意义的图形（如构造单元划分图、地理图、井位图等）、数值图（如产烃率曲线图、酐洛根热降解图等）和无坐标含义图（如剖面图）等。

文档数据是指评价过程中产生的各种报告、项目运行记录等。

（二）数据库结构

从业务需求上，根据数据用途、数据类型和数据来源，可将本次的油气资源评价数据库分为三级：基础库、参数库、成果库（图4-12）。其结构如下：

图4-12 数据库结构示意图

1.基础库

基础库是油气资源评价工作的最基础的原始数据，有实测数据（物探数据、测井数据、钻井数据、开发数据等）、实验数据和经验数据等。

确定基础数据实际上是一项涉及油田勘探、开发等领域的多学科的复杂工作，是油气资源评价工作的研究过程和研究成果在数据库中的具体表现方式。在设计数据库的过程中，需要与参数研究专家经过多次反复，才能最终确定基础数据库，确保基础数据库能满足目前所有评价工作中计算的需要。

2.参数库

参数库用于存储油气资源评价工作所用到的参数数据，评价软件，直接从参数库中提取参数数据，用于计算。参数数据由基础数据汇总而来，也可以由专家根据经验直接得到。

本次评价中所涉及的参数大致可以分为以下几类：①直接应用的参数；②通过标准或类比借用的参数；③通过研究过程或复杂的预处理得到的参数。

3.成果库

成果库用于存储资源评价结果，包括各种计算结果、各种文档、电子表格、图片、图册等数据。

数据库的体系结构采用分布式多层数据库结构，包括三个组成部分：应用服务层、应用逻辑层和数据服务层。

数据库体系结构如图4-13所示。

图4-13 体系结构结构图

（1）应用服务层：应用服务层包含复杂的事务处理逻辑，应用服务层主要由中间件组件构成。中间件是位于上层应用和下层服务之间的一个软件层，提供更简单、可靠和增值服务。并且能够实现跨库检索的关键技术。它能够使应用软件相对独立于计算机硬件和 *** 作系统平台，把分散的数据库系统有机地组合在一起，为应用软件系统的集成提供技术基础，中间件具有标准程序接口和协议，可以实现不同硬件和 *** 作系统平台上的数据共享和应用互 *** 作。而在具体实现上，中间件是一个用API定义的分布式软件管理框架，具有潜在的通信能力和良好的可扩展性能。中间件包含系统功能处理逻辑，位于应用服务器端。它的任务是接受用户的请求，以特定的方式向应用服务器提出数据处理申请，通过执行相应的扩展应用程序与应用服务层进行连接，当得到应用服务器返回的处理结果后提交给应用服务器，再由应用服务器传送回客户端。根据国内各大石油公司具体的需求开发相应的地质、油藏、生产等应用软件功能程序模块和各种算法模块。

（2）应用逻辑层：逻辑数据层是扩展数据服务层逻辑处理层，针对当前的底层数据库的数据结构，根据具体的需求，应用各种数据库技术，包括临时表、视图、存储过程、游标、复制和快照等技术手段从底层数据库中提取相关的数据，构建面向具体应用的逻辑数据库或者形成一个虚拟的数据库平台。逻辑数据层包含底层数据库的部分或全部数据处理逻辑，并处理来自应用服务层的数据请求和访问，将处理结果返回给逻辑数据层。

形成一个虚拟的数据库平台我们可以应用数据库系统中的多个技术来实现。如果系统中的一个节点中的场地或分片数据能够满足当前虚拟数据库，可以在应用服务层中使用大量的查询，生成一个以数据集结果为主的虚拟数据库平台，并且由数据集附带部分数据库的管理应用策略。或者对节点上的数据库进行复制方法进行虚拟数据库的建立。对与需要对多个节点上的数据库进行综合筛选，则要对各个节点上的数据库进行复制，合并各个复制形成一个应用逻辑层，从而建立一个虚拟数据平台。

（3）数据服务层：即数据库服务器层，其中包含系统的数据处理逻辑，位于不同的 *** 作系统平台上，不同数据库平台（异构数据库），具体完成数据的存储、数据的完整性约束。也可以直接处理来自应用服务层的数据请求和访问，将处理结果返回给逻辑数据层或根据逻辑数据层通过提交的请求，返回数据信息和数据处理逻辑方法。

（三）数据建设标准

1.评价数据标准

系统数据库中的数据格式、大小、类型遵从国家及行业标准，参考的标准如表4-23。

表4-23 数据库设计参考标准

续表

系统中数据的格式及单位参考《常规油气资源评价实施方案》、《煤层气资源评价实施方案》、《油砂资源评价实施方案》、《油页岩资源评价实施方案》及数据字典。

2.图形图件标准

对于地质研究来说，地质类图件是比较重要的。各种地质评价图形遵循以下标准（表4-24）。

表4-24 系统图形遵循的相关标准

系统对图形的要求为必须为带有地理坐标意义的、满足上述标准体系要求的矢量图形，且采用统一的地理底图。图形格式采用：MapGIS图形交换格式、GeoInfo图形格式、ArcInfo图形交换格式、MapInfo图形交换格式和GeoMap图形交换格式。

图件的比例尺要求：

全国性图件：1∶400万或1:600万

大区图件：1:200万

盆地图件：1:40万或1:50万

评价单元图件：1:10万或1:20万

图件的内容要求符合《常规油气资源评价实施方案》、《煤层气资源评价实施方案》、《油砂资源评价实施方案》和《油页岩资源评价实施方案》的规定。

（四）数据内容

数据库中存储的数据包括常规油气相关数据、煤层气相关数据、油砂相关数据和油页岩相关数据；还有可采系数研究涉及的数据，包括研究所需基础数据和研究成果数据；以及趋势预测相关数据。

---