数据库关系模型(数据库逻辑模型)是将数据概念模型转换为所使用的数据库管理系统(DBMS)支持的数据库逻辑结构,即将E-R图表示成关系数据库模式。数据库逻辑设计的结果不是唯一的,需利用规范化理论对数据库结构进行优化。
在关系模型中,数据库的逻辑结构是一张二维表。在数据库中,满足下列条件的二维表称为关系模型:
1)每列中的分量是类型相同的数据;
2)列的顺序可以是任意的;
3)行的顺序可以是任意的;
4)表中的分量是不可再分割的最小数据项,即表中不允许有子表;
5)表中的任意两行不能完全相同。
由此可见,有序的航空物探测量剖面数据不满足数据库关系模型条件第3条“行的顺序可以是任意的”,因此,不能简单地直接利用关系数据库(如Oracle,SQL Server,Sybase等)来管理剖面数据,需将数据在数据库中的存储方式改为大字段存储,确保不因数据库数据的增加和删除等 *** 作改变剖面数据有序特性。
一、大字段存储
(一)大字段存储技术
大字段LOB(Large Object)技术是Oracle专门用于存放处理大对象类型数据(如多媒体材料、影像资料、文档资料等)的数据管理技术。LOB包括内部的和外部的两种类型。内部LOB又分CLOB(字符型)、BLOB(二进制型)等3种数据类型,其数据存储在数据库中,并且支持事务 *** 作;外部LOB只有BFILE类型,其数据存储在 *** 作系统中,并且不支持事务 *** 作。LOB存放数据的长度最大可以达到4G字节,并且空值列(没有存放数据)不占空间(图2-6)。
图2-6 大字段存储示意图
由于外部LOB存放在 *** 作系统文件中,其安全性比内部LOB差一些。此外,大字段的存储支持事务 *** 作(批量提交和回滚等),而外部LOB不支持事务 *** 作。所以,航空物探测量剖面数据采用BLOB来存储。对于BLOB类型,如果数据量小于4000字节,数据库通常采用行内存储,而数据量大于4000字节采用行外存储。分析航空物探测量剖面数据,每个场值数据占4个字节(单精度),目前航磁数据采样率为10次/s,4000字节只能存储100 s数据;一般情况下航空物探测量每条测线飞行时间至少在10 min以上,每条测线数据量远远大于4000字节。所以,航空物探测量剖面数据采用行外存储方式,即大字段列指定“Disable Storage In Row”的存储参数。
由于大字段类型长度可变,最大可到4G。假设测线飞行时间为T,场值采样率为n次/s,测线场值数据量为4Tn,所以有4Tn≤4G。单条测线飞行时间T不会超过10 h(36000 s,航空物探测量1架次至少飞行1个往返2条测线),则场值的采样率n≤4G/4T=4×1024×1024×1024/4×36000次/s=29826次/s。采用大字段来存储测量数据,不仅能够减少数据表的记录数,提高查询效率,而且使得采样率的扩展不受限制。
(二)大字段存储技术应用
由于航空物探数据的数据量较大,现有的航磁测量数据按基准点方式(点存储)存储可达几亿个数据记录。若按磁场数据采样点存储方式(简称“场值存储方式”),则记录条数=(磁场数据采样率/坐标采样率)点存储方式的记录数,达几十亿条数据记录,且随着数据采样率的扩展、测点的加密,航空物探测量数据量随着时间的推移呈现快速增长之势。显然,如果采用常规的表结构来存储,势必造成数据的存储、管理、检索、浏览和提取都非常困难。另一方面,从航空物探专业应用需求来说,很少对单个测点的场值数据进行运算、分析等 *** 作,一般至少是对一条测线或以上测线,多数时候是需要对整个测区的场值数据进行化极、上延、正反演拟合等。
因此,在航空物探数据库表结构设计时,改变过去将基准点或场值点数据记录作为数据库最小管理对象的理念,采用了大字段存储技术,将测线作为数据库最小管理对象,将测线上的测量数据,如坐标数据和磁场、重力场数据分别存储在相应大字段中。在航空物探数据库建设中,大量采用数据库的大字段存储技术(详见《航空物探信息系统数据库结构设计》)。
(三)大字段存储效率
以航磁测量数据为例分析大字段存储技术优势。如果以场值存储方式存储测线数据,则每条记录包含架次号、测线号、基准号、地理坐标、投影坐标、磁场数据等,由于坐标数据采样率2次/s,磁场数据采样率10次/s,每5个磁场数据中,只有第1个磁场数据有坐标数据,其他4个坐标数据是内插出来,因此在测线记录中会产生大量冗余的数据坐标数据。采用点存储方式存储的测线数据记录数等于线上基准点数,若采用大字段存储方式,一条测线数据只存储为1条数据记录(图2-7),一般一条测线的测点数近万个,甚至更多,可见采用大字段存储大大减少测线数据存储记录数,提高数据的存取效率。
以某测区的两条航迹线为例,分别采用3种方式测试数据库的数据存储效率。磁场数据的采样率10次/s,坐标数据采样率2次/s,两条测线上共有基准点8801个。以场值方式存储先内插坐标信息,使得每个场值数据都拥有自己的坐标,然后存入数据库,共有数据记录44005条,写入数据库时间为5722 s,读取时间为103 s。第二种方式是以采样点的方式进行存储,共有8801条记录,写入数据库时间为947 s,读取需要091 s。第三种方式是以大字段的形式存储,只有2条记录,写入数据库103 s,读取时间为044 s(表2-2)。大字段数据存储记录数最少,存取效率最高。用整个测区数据测试效果更加明显。
表2-2 三种数据存储方法的存取效率比较
图2-7 大字段存储方式示意图
二、联合主键
主外键是关系型数据库建立表间关系的核心。在航空物探空间数据库建设过程中,要素类与要素类之间、要素类与对象类之间,以及对象类与对象类之间的关系的描述有3种形式,即拓扑关系——描述要素类与要素类之间结点、邻接和联通关系;叠加关系——描述要素类与要素类之间的相交、包含与分类关系;隶属关系——描述对象类与对象类之间的派生关系。前两种关系是采用空间数据模型建立的关系,而隶属关系是通过主键建立的对象类与对象类之间的关系。在建立一对一、一对多的表间关系时,需要在整个数据库表中确定具有唯一性的一个字段作为主键(主关键字)。
按照传统的航空物探数据的档案管理模式,每个项目分配一个自然数作为档案号,项目的所有资料均与此档案号相联系。勘查项目和科研项目的档案号是独立编号的,且均从001开始。加之人工管理的原因,存在1个项目2个档案号和2个项目1个档案号的情况,因此现行的档案号与项目之间的对应关系不具备唯一性,不能作为项目的唯一标识,即不能作为数据库表的主键。项目编号也不能作为数据库表的主键,项目编号也只是近十年的事,以前的项目没有项目编号。
综合考虑上述因素和项目具有分级、分类的特点,提出了构造项目唯一标识码(简称“项目标识”)的方法,并以此码作为数据库表的主键。
项目标识(主键):AGS+项目类别(2位)+项目起始年份(4位)+档案号(6位)
标识含义:AGS——航空物探的缩位代码;
项目类别——2位代码,01代表勘查项目、02代表科研项目;
起始年份——4位代码,项目开始年号;
档案号——6位代码,为了与传统的项目管理方式相衔接,后面3~4位是
项目档案管理模式下的档案号,不足部分补零。
以上15位编码是一级项目的项目标识,二级及其以下级别的项目标识是在上一级项目标识基础上扩展2位数字代码,中间用“”号隔开,数字为该级项目的序号。项目标识定义为30位编码,适用于六级以内的项目。例如:AGS022004000576080402,表示该项目为2004年开展的档案号为576的航空物探科研项目(一级项目)的第8课题(二级项目)第4子课题(三级项目)的第2专题。由此可见,该项目标识不仅仅是一个建立表间关系的关键字,同时还表达了不同级别项目间的隶属关系。在系统软件开发时,利用此关系生成了项目的分级树形目录,用户对项目的层次关系一目了然,便于项目查询。
数据库的主键一经确定,相应地需要确定联合主键的组成及其表达方式。所谓联合主键就是数据资料的唯一标识,在一个数据库表中选择2个或者2个以上的字段作为主键。由于航空物探数据绝大部分与项目标识有关,加之数据的种类较多,分类复杂,单凭主键确定数据库表中记录的唯一性,势必需要构建极其复杂的主键,这种方法既不利于主键的数据 *** 作,又会造成大量的数据冗余,合理地使用联合主键技术可以很好地解决资料唯一问题。以项目提交资料为例,提交的资料分为文字类资料、图件类资料和媒体类资料,我们对资料进行分类和编号,例如100代表文字资料(110——World文档,120——PDF文档),200代表图件资料(210——基础地理资料、220——基础地质资料,230——航迹线图,240——剖面图,250——等值线图等),300代表媒体资料(310——PPT文档,320——照片等),第1位(百位)表示该资料的类型,第2~3位表示该类资料的序号。
在数据库管理和项目资料查询时,采用项目标识与资料分类编号作为联合主键(图2-8),可以高效地实现复杂数据的查询。在整个数据库系统中多处(项目查询、数据提取等模块)使用联合主键技术。
图2-8 联合主键实例
三、信息标准化
为了实现数据共享,在航空物探数据库建模过程中,参考和引用了近百个国家信息化标准,编制了4个中心信息化标准和1个图件信息化工作指南。
(一)引用的国家信息化标准
1)地质矿产术语分类代码:地球物理勘查,地球化学勘查,大地构造学,工程地质学,结晶学及矿物学,矿床学,水文地质学,岩石学,地质学等。
2)国家基础信息数据分类与代码,国土基础信息数据分类与代码,地球物理勘查技术符号,地面重力测量规范,地面磁勘查技术规程,地面高精度磁测技术规程,大比例尺重力勘查规范,地理信息技术基本术语,地理点位置的纬度、经度和高程的标准表示法,地名分类与类别代码编制规则。
3)地球空间数据交换格式;数学数字地理底图数据交换格式;数字化地质图图层及属性文件格式。
(二)本系统建立的信息化标准
编写了“航空物探空间数据要素类和对象类划分标准”,“航空物探项目管理和资料管理分类代码标准”,“航空物探勘查分类代码标准”,“航空物探信息系统元数据标准”,“航空物探图件信息化工作指南”,以便与其他应用系统进行信息交换,实现数据库资料共享。
航空物探空间数据要素类和对象类划分标准:根据物探方法、数据处理过程以及推断解释方法和过程,把与GIS有关的数据划分为不同类型的要素类-对象类数据,按专业、比例尺、数据内容对要素类和对象类进行统一命名,使空间数据库中的每个要素类和对象类的命名具有唯一性,防止重名出现。规定要素类-对象类数据库表结构及数据项数值类型。
航空物探项目管理和资料管理分类代码标准:规定了航空物探项目管理和资料管理的相关内容,包括航空物探勘查项目和科研项目的项目立项、设计、实施、成果、评审、资料汇交等项目管理的全过程中的内容,以及项目成果资料和收集资料的归档、发送、销毁、借阅等资料管理与服务过程中的内容和数据项代码。
航空物探勘查分类代码标准:在“地质矿产术语分类代码 地球物理勘查”(国家标准GB/T 964928—1998)增加了航磁、航重专业方面所涉及的数据采集、物性参数、方法手段、仪器设备、资料数据解释及成图图件等内容和数据项代码。
航空物探信息系统元数据标准:规定了航空物探空间数据管理与服务的元数据(数据的标识、内容、质量、状况及其他有关特征)的内容。
四、航迹线数据模型
(一)航迹线模型的结构
航空物探测量是依据测量比例尺在测区内布置测网(测线和切割线)。当飞机沿着设计的测线飞行测量时,航空物探数据收录系统按照一定的采样率采集采样点的地理位置、高度和各种地球物理场信息。采用属性数据分置的方法,将测线地理位置信息从航空物探测量数据中分离出来,形成航迹线要素类表,在此表中只存储与航迹线要素类有关的数据,如项目标识、测区编号、测线号、测线类型(用于区分测线、切割线、不同高度线、重复线等)、坐标、高度值等;将航迹线的对象类数据(磁场、重力场基础数据)分别以大字段形式存储在各自的二维表中,它们共享航迹线,解决了多源有序不同采样率的航空物探测量数据的数据存储问题,在满足要素类空间查询的同时,统一数据的存储方式(图2-9)。航迹线要素类隶属于测区要素类,它们之间为空间拓扑(包含)关系。测区从属于勘查项目,每个勘查项目至少有一个测区,它们之间为1对多关系。有关项目信息存放在项目概况信息对象类表中,各种表之间通过项目标识进行联接。
图2-9 航迹线数据模型结构
(二)航迹线的UML模型
统一建模语言UML(Unified Modeling Language)是一种定义良好、易于表达、功能强大且普遍适用的建模语言。它溶入了软件工程领域的新思想、新方法和新技术。UML是面向对象技术领域内占主导地位的标准建模语言,成为可视化建模语言的工业标准。在UML基础上,ESRI定义了空间数据库建模的ArcGIS包、类库和扩展原则。
图2-10 与航迹线有关的数据库表逻辑模型结构图
在确定航迹线数据模型后,以它为基础,使用UML完成与航迹的有关的项目概况信息、测区信息、原始数据等数据库表逻辑模型设计(图2-10)。
由UML模型生成Geodatabase模式时,模型中的每个类都对应生成一个要素类或对象类。类的属性映射为要素类或对象类的字段。基类属性中包含的字段,在继承类中不需重复创建。例如,每个类都包括项目标识等字段,可以创建一个包含公共属性的基类,其他类从该类继承公共的属性,而无需重复建基类中包含的属性。因为基类没有对应的要素类或对象类,所以将基类设置为抽象类型。要素类之间的关系采用依赖关系表示。
五、数据库逻辑模型
关系数据库的逻辑结构由一组关系模式组成,因而从概念结构到关系数据库逻辑结构的转换就是将概念设计中所得到的概念结构(ER图)转换成等价的UML关系模式(图2-11)。在UML模型图中,要素数据集用Geodatabase工作空间下的静态包表示。要素集包不能互相嵌套,为了容易组织,在生成物理模型后,在要素数据集包中自定义嵌套。要素数据集与空间参考有关,但是空间参考不能在UML中表达。要素类和二维表都是以类的形式创建的,区别是要素类继承Feature Class的属性,而二维表继承Object属性。为了表达每种元素的额外属性,比如设置字符型属性字段的字符串长度,设置要素类的几何类型(点、线或面)需要使用Geodatabase预定义的元素标记值。
图2-11 逻辑设计关系转换
基于航空物探数据的内在逻辑关系进行分析,使用统一建模语言(UML)构建数据实体对象间的关系类,定义了航空物探数据库的逻辑模型(图2-12)。
一、原始收录数据整理
从20世纪70年代至今,中心航空物探测量使用多种不同型号的数据收录系统,如G704、G714、DAS-8、Z80、DS1、DS2、DS3等,同一型号的数据收录系统收录的数据也存在不同的记录格式和记录长度,造成了原始收录数据格式混乱,且有的原始收录数据的记录格式已无处查询。
原始收录数据的存储介质有磁带、软盘、光盘等。磁带记录数据因受磁带的保存期和读取设备的限制现在已经无法读取。软盘记录数据曾经部分转储到光盘上,记录在光盘的数据,现在读取基本没有问题。
原始收录数据分为空中原始收录数据、地面磁日变收录数据、地面差分GPS收录数据,航空重力测量的前、后校基准点数据。按航空物探信息系统数据库建设要求,对每个勘查项目的架次飞行测量的原始收录数据进行整理,编写数据记录格式说明。部分以压缩形式存档的数据,进行解压缩处理。尽力解读没有记录格式说明的原始收录数据,无法读取的原始测量数据写出具体说明。
二、模拟记录和磁带收录的校正后数据整理
早期的航空物探测量模拟资料的数字化工作已完成,数字化的内容仅包括:坐标和磁场。
20世纪90年代以前数字收录的航空物探数据是使用32/57计算机处理的,以32/57计算机的数据库格式记录在磁带上,后来转储到光盘上。32/57计算机数据库的坐标为相对坐标,没有地理坐标;在数据整理过程中,利用数据库中的参考点数据计算地理坐标。
20世纪90年代初期,中心使用IBM 4341计算机处理航空物探数据,数据是以OPTEDIT文件格式记录在磁带上,后来转储到光盘上。同样,IBM 4341计算机早已淘汰。重新开发相关软件读取该格式数据。
这时期数据特点是只有数据处理的最终结果数据,没有保存转格式的原始数据和中间过程数据。
这部分数据前人多次整理过,本次是把前人的现有成果转成符合航空物探信息系统数据库建设要求的格式。
1)航磁数据整理的数据来源以省级航磁数据库数据为主,中国航磁编图(CHAMP)数据为辅。其内容包括:经度或东向距,纬度或北向距,调平前ΔT磁场,调平后ΔT磁场。
2)能谱测量数据整理的数据来源为转储的伽马能谱数据。由于当时项目的工作目的和任务与伽马能谱无关,所以转储的伽马能谱数据文件中只有雷达高度、校正后总道、钾道、铀道、钍道数据,没有坐标等其他数据。
3)航电测量数据整理的数据来源为航电数据库数据,其内容包括:经度或东向距,纬度或北向距,校正后520Hz实分量,校正后520Hz虚分量,校正后2020Hz实分量,校正后2020Hz虚分量,校正后8020Hz实分量,校正后8020Hz虚分量。
三、磁盘收录的原始数据及校正后数据整理
由于计算机技术的快速发展和航空物探数据处理技术的进步,20世纪90年代初之后航空物探数据处理采用中心在DOS系统和Windows系统上自主研发的航空物探数据软件进行数据处理。这时期数据内容齐全,包括航空物探测量原始数据、中间过程数据和处理最终数据,如:
时间,无线电高度,计算的地形高程数据;
原始定位数据(GPS或GG24的时间、纬度、经度、高度、高度修正值等);
原始磁场数据(未补偿磁总场、已补偿磁总场);
原始能谱数据(总道计数率、钾道计数率、铀道计数率、钍道计数率、上视铀等);
原始航电数据(520Hz实、虚分量,2020Hz实、虚分量,8020Hz实、虚分量);
坐标转换后的定位数据(BJ54纬度、BJ54经度、北向距、东向距等);
国际地磁参考场、磁日变;原始ΔT磁场、调平后ΔT磁场;
校正后能谱含量(总道、钾道、铀道、钍道);
校正后航电数据(520Hz实、虚分量,2020Hz实、虚分量,8020Hz实、虚分量)。
这些数据是以ASCII码文件保存的,用AirProbe软件装入AirProbe数据库中,按信息系统要求文件格式输出即可。
四、数据合并与坐标转换
20世纪90年代初之前的航空物探基础数据是按测量参数分别存储在不同的文件,且文件的格式也不完全相同,需要按测区把所有测量参数的数据合并到一个文件中。
以航磁数据为主,先将每个测量测区的航磁数据装入AirProbe数据库,再将能谱或航电的数据合并到数据库。航磁数据和航电数据均有相同的坐标数据,据此进行合并;但是能谱数据只有校正后数据,没有坐标数据,且存在同一条测线的能谱数据比航磁数据点少的现象。为了保证合并得尽可能准确,先合并数据长度一致的测线,不同者参考存档的正式磁场图和能谱图,确定能谱数据与坐标的关系再合并。能谱、航电数据长度与航磁数据长度不等时,采用充假值(-32767)或补0方法,并在工作记录中备案。
由于坐标数据有几种不同形式(经度、纬度、北向距、东向距)和单位(度、度分、米),按照信息系统建设要求,统一转换为BJ54的经度、纬度。
五、整理数据的质量检查
使用整理数据绘制剖面图或等值线图,与正式图进行比对,确认无误后,按照本信息系统建设要求,制作航空物探各参量数据图册,同时填写工作记录。若发现错误,再用数据整理前的数据绘制图件,查明具体原因。
质量检查合格后,按信息系统建设要求的文件格式转换输出。
六、完成的工作量
基础数据整理工作共完成中心330个测区的基础数据整理。其中,单磁测区275个、磁放测区29个、磁电测区7个、磁电放测区19个;完成省航测队97个测区的基础数据整理。编制数据整理及接口软件9个;填写物探基础数据整理工作记录400余份;绘制磁、能谱、航电的平剖图、等值线图约1000余张;按照整理后的数据重新确定了测区的实际范围和角点坐标。
航空重力数据处理软件和相应数据库管理软件完成重力数据的处理。生产厂商均开发了与之配套的重力数据处理软件,比如GT-1A是由航空重力数据处理软件(MSU)和Geosoft软件完成重力数据的处理,使用Waypoint76软件完成GPS数据位置和速度解算质量控制。
基于GT-1 A与TAGS航空重力仪,软件运行于MS Windows 98/2000/XP。GT-1 A重力数据处理的GPS解算软件是集成于Oasis软件平台上的DOS程序,其余程序均为Windows风格,利用该处理软件已经完成了(50~60)×104测线千米商业任务的数据处理任务。TAGS数据处理软件是新研制的处理软件,没有进行商业生产,仅是利用实测数据进行了测试,在我国进行的航空重力测量试验是该处理软件第一次应用于航空重力数据处理。
1GT-1A数据处理软件
GT-1A航空重力数据处理包括主要包括3个方面:DGPS数据解算、数据测量质量评价、沿测线自由空气重力计算。
(1)DGPS数据解算
利用GT-1A航空重力系统的GTNav模块对Ashtech的DGPS收录数据及重力仪惯导平台数据进行组合,并解算运动平台的位置坐标、速度及加速度数据,给出DGPS定位数据的质量统计。
(2)数据测量质量评价
利用GT-1A航空重力系统的GTQC20模块对航空重力前后校数据、飞行测量数据及惯导平台数据进行格式转换和评估计算;将计算结果输入Oasis软件平台的数据质量控制架次数据库中,进行坐标投影转换,并给出测量数据细道与粗道饱和数量的统计。
(3)沿测线自由空气重力异常计算
利用GTGrav模块对重力传感器定位数据、惯导平台姿态数据、DGPS解算速度数据、重力仪基点前后校数据、原始重力测量数据等进行图示和掐线处理,在完成原始测量重力的垂向加速度改正、厄缶效应改正、零漂改正、基点改正和(100s波长窗口)滤波处理后,可获得沿测线的航空自由空气重力异常数据,并可同时获得评估处理质量的剩余重力数据。
2TAGS数据处理软件
TAGS航空重力数据预处理主要包括两个方面:DGPS数据解算、各项改正和滤波处理。
(1)DGPS数据解算
利用Way Point760版软件的Graf Nav模块对Novatel的DGPS收录数据进行运动平台的位置坐标、速度和加速度解算。
(2)各项改正和滤波处理
利用Aero Grav软件模块进行架次数据的编辑处理、坐标投影转换、垂向和水平加速度改正、厄缶效应改正、零漂和基点等改正和滤波处理后,获得沿测线的原始航空自由空气重力异常数据。
3GT-1A和TAGS数据处理软件的比较
GT-1A数据处理软件各项改正能力强,特别是利用各种参数处理颠簸情况下的重力数据要好于TAGS系统数据处理软件;GT-1A数据质量统计方法比较完善,能够比较方便地评估测量质量;在GPS解算方面,GT-1A拥有自己的解算软件。
GT-1A的后处理软件使用相当方便,生产飞行结束后几小时之内就能得到完整的Δg数据;但数据处理人员需要经过一定的技术培训,才能完成数据处理。
TAGS数据处理软件 *** 作简单,能够很快地完成重力数据处理;同时能够显示各种参数的图形,但缺少质量评估,不能进行质量控制。当发生颠簸或受风影响水平加速度增大时,处理能力弱,不能很好地克服这些影响,往往造成假异常(或称“大包”),因此废品率较高。
总之,GT-1 A的数据处理软件成熟、可靠,而TAGS数据处理软件需要进一步改进和完善,才能满足实际数据处理的需要。
通过数据源需求调研和分析,深刻地认识到航空物探测量所获得的地球物理数据所具有的空间性,多源性、多尺度、海量、有序等特点,这是正确地进行航空物探数据库结构设计和信息系统软件架构设计的基础。
一、空间性
航空物探测量是将各种测量仪器及其配套的辅助设备装载在飞行器上,在测量地区上空按照预先设定的测线和高度对地球磁场、重力场等进行测量;即航空物探测量是以飞行器为载体,通过各种探测装置对地球物理场进行探测及数据分析,揭示地质构造和相关矿产油气资源信息。因此,航空物探数据与空间位置(经纬度和高度)是密切相关的,具有较强的空间性。它们既可以采用基于空间信息技术进行管理,同时又可以利用空间分析的手段揭示场源信息与地理分布之间的关系。
航空物探数据的空间特性表现为多种地球物理场对应着同一地理位置,即同一个地理信息单元其几何特征是一致的,却对应着多种语义。既有地理位置、海拔高度等自然地理特征,也有地球重力场、磁场等多种地球物理场信息。这些不同特征的地球物理场信息,对于地质问题的综合解释是具有重要的意义,因此也将这种多语义性称之为多维性。
二、多源性
将航空物探资料数据分为6类,每类数据的直接来源各不相同。资料概况数据是源于航空物探项目,是反映资料质量和项目有关信息的数据;基础数据来源航空物探测量,坐标数据来源于导航定位系统等。基础数据经数据转换处理,地质分析和推断解释,形成了数据性质完全不同的转换数据、异常数据、解释评价数据,以及图件和文字报告。因此,航空物探数据具有多源性特点,此特点决定了航空物探数据格式的多样性(表1-1),如剖面数据(GDB,APA,APB,XYZ等)、网格数据(AGA,AGB,GRD,GDL等),与GIS有关的解释数据和评价数据为矢量格式(MapGIS为WT,WL,WP,ArcGIS为SHP等),图像数据(BMP,JPG,TIFF等),文字数据(DOC,PDF)等。
表1-1 航空物探数据的主要数据格式
续表
三、多尺度
航空物探勘查的目的任务决定测量比例尺。例如,航磁概查的区域跨度一般都比较大,在几百千米,最大可达1000km以上,一般采用1:100万或1:50万的小比例尺测量。航磁普查的区域跨度要小一些,一般不超过500km,采用1:25万、1:20万或1:10万的中比例尺测量。详查区域跨度最小,不超过200km,一般100km以内,最短测线长度可达5km,采用1:5万、1:25万或1:1万的大比例尺测量。
测量比例尺的差异是不同尺度的航空物探测量的反映,不同尺度的航空物探测量不仅对测量技术和数据处理技术要求不同,对成果图件展示要求也不同,不同尺度的航空物探成果图件使用不同成图的投影坐标。国家对从1:100万到1:1万的国家基本比例尺图件的投影坐标有明确规定,例如1:100万标准分幅的基础图件采用兰勃特等角圆锥投影,1:50万至1:5万采用高斯克吕格6°分带投影,1:25万至1:1万高斯克吕格3°分带投影。航空物探最终的成果图件均遵从此规定。因此,本信息系统需要解决不同投影坐标的航空物探成果图件管理问题。
四、海量性
航遥中心自20世纪50年代开展航空物探工作以来,已经完成1200万测线千米的航空物探测量,覆盖我国陆地面积930×104km2,海域面积210×104km2。中心现有的测量数据中均包含航磁测量数据。较早的航磁测量数据采样率为2次/s,采样点间距约30m。目前,航磁测量数据采样率为10次/s,采样点间距约6m。估计航磁测量数据达到10亿个测点以上。
目前,航空磁力测量已发展为航磁全轴梯度测量,数据采样率为10次/s,采集4道磁总场数据,计算出3个方向磁梯度数据。因此,同样开展1km航空物探测量,现在所采集数据量是以前的5~10倍。随着航空物探技术的发展,数据采样率的不断提高,航空物探测量采集的数据量成几何级数增长。可以预见,我国海域和陆地的航空物探数据量可达到TB数量级。
五、有序性
有序性是航空物探数据沿着测线的测量方向有序排列的现象,是航空物探测量过程中人为赋予的一个非常重要的特性(类似珍珠项链的线)。如果打乱了这种有序性,就破坏了航空物探数据沿测线方向的变化规律性,增加数字成图、地质解释,以及数据管理等工作的难度(需重新排序,恢复数据的有序性)。
六、不同的数据采样频率
地球上任意一点(地理位置)都有磁场、重力场等信息,受地球物理场探测器的技术限制,在航空物探综合测量过程中现在还做不到所有测量参数同步采样。目前航空物探测量各参数采样率分别为:坐标数据和高度数据2次/s,磁场数据10次/s,重力场数据1次/s。这种测量数据采样频率不同步现象对航空物探数据库结构产生深远的影响。
七、唯一性和树形结构
航空物探资料来源于航空物探勘查项目,项目资料应具有唯一性。这是资料信息化管理最基本要求。
在项目研究过程中,常根据研究工作的需要,将项目分解为课题,课题再分解子课题、专题等。为了便于信息化管理,本信息系统将项目、课题、子课题、专题等统称为项目,并赋予级次属性,它们分别对应一级项目、二级项目、三级项目、四级项目等,共同构成项目树。一级项目为树根,其他级别的项目为树干或树叶。因此,隶属于不同级次的项目资料也具有可组织成树形结构特点。
1、首先联系航空公司客服人员。
2、其次向客服人员说明忘记了航班正常性统计系统的情况。
3、最后等待客服人员进行处理。航班正常性统计系统即FNSS,是建立在AFTN网上的有关航班正常性统计的小型微机数据库系统。
——本文作者 余文
再过几天就是新春佳节了,一年一度的春运大潮即将开启,火车站、飞机场都早已人声鼎沸。要说哪座机场最靓丽,无疑是几个月前刚刚投入运营的北京大兴国际机场,其梦幻般的设计一时间吸引了无数眼球。实际上,回家过年常说的“要想富,先修路”这句话早已拓展到了民航领域。
据悉,“十二五”民航空管系统保障航班起降达到3458万架次,比“十一五”增长649%,年均增长1003%;“十三五”仍然保持高速增长,空中交通需求与相对紧张的空域系统供给能力之间的矛盾日益突出。大兴国际机场的修建就是一个典型的实例,既为了缓解首都的空中交通压力,同时也为了促进北京南部地区的经济和京津冀协同发展。
不过对于每个乘坐飞机的老百姓来说,如何缩短候机时间,如何避免航班延误,一定是关注的重点。这些需求的背后,是民航信息系统的升级。如何能让航空信息系统更好地提升效率?莱斯信息和华为一起为我们解开了谜题。
对民航有所了解的人都知道,安全是民航业的基础。正因为此,在一些恶劣气候条件下,民航的误点率会大大提高。但问题在于,如果整个航路上的天气都静好,能不能做到准点呢?
答案是肯定的。事实上,近期经常坐飞机的人会发觉,延误的比例已经非常低了,这是因为冬季没有大规模降雪的情况下,会比夏季多雨时节的飞行安全得多。以往,在安全的基础之上,信息化系统的效率就是重中之重了。
而今,民航系统提出“强安全、强效率、强智慧、强协同”的“四强空管”策略,其中“强智慧”和“强协同”很明显对民航各系统数据的整合分析提出了新的挑战。
据悉,民航有关单位希望通过打造空中交通流量管理的“行业大脑”——全国流量管理系统,通过持续的监视、分析和协商,合理、灵活地运用各类流量管理策略和措施,来提升民航有关单位协同航空公司、机场等相关运行单位的运行效率,减少延误。
所谓“行业大脑”,其实也就是新的智慧决策工具,目的是要求今天的民航信息系统在保证安全的前提下,如何充分有效地利用空、地资源,最优化地实现容流平衡。
此前,民航系统的信息化基础设施主要来自于几家全球的行业巨头,比如Airbus、Thales等。但如今,随着国内厂商的技术能力和产品品质得到有效提高,民航系统开始在硬件层面更多考虑国产设备。
在信息化方面,民航系统长期与中国电子 科技 集团旗下的专业信息系统集成商和服务商南京莱斯信息技术股份有限公司合作。在过去多年的民航项目实施中,莱斯信息不仅积累了丰富的经验,同时也一直坚持创新的理念。正是这样的发展思路,让民航系统和莱斯信息开始重点考察在国内数据基础设施和存储设备领域独占鳌头的华为。
众所周知,华为是做运营商设备起家,从电信级产品往下延伸,品质自然完全可以保证。在IT产品线上,与数据库挨得最近的,就是存储。换句话说,存储是数据的基础设施。
实际上,在应用系统之下是核心数据库,各个应用系统调用核心数据库中的数据,来支撑各个业务系统的运行。这种数据调用,在基础设施层面就是数据在存储设备上的读出和写入。数据库调用得越频繁,对底层存储设备的性能要求就越高。
据悉,对于民航全国流量管理系统来说,采集、整理、存储流量管理中飞行计划、监视、环境、气象、静态容量、流控措施等一系列运行数据,需要在逻辑上形成统一的流量管理运行数据库,不容出错,才能进行相关的业务分析,来支撑各类业务子系统的高效运行。
实际上,支撑全国流量管理系统的核心数据库支撑着各业务系统的运行。全国这么多的航班,必然每时每刻都会产生数据,因此会产生较大的IO吞吐量——尽管数据流量相对稳定,但计算、读写频率高,而且不容出错。也就是说,全国流量管理系统对下层存储主要有两大技术需求:一是性能,二是高可用。
值得一提的是,华为的存储设备近年来在国内市场一枝独秀,远超其他品牌,说明华为存储的优势至少在国内市场十分明显。
据悉,华为通过多年在闪存技术方面的积累,自主研发的HSSD支持SAS和NVMe双接口的热插拔,无需SAS控制器、SAS Expander,直接通过PCIe总线与CPU连接,有效提升了系统的性能、可靠性和可扩展性。
据莱斯信息相关负责人介绍,该民航项目的数据库性能测试结果表明,如今在开发环境下,空中交通流量系统在运行过程中保持943个以上数据库会话同时顺畅访问数据库,体现了OceanStor Dorado性能和高可用的价值。
值得一提的是,华为还在OceanStor Dorado全闪存存储中,加入了人工智能技术,通过多类型智能芯片以及FlashLink智能算法,再加上全系列端到端NVMe架构,把存储整体稳定时延降低至1ms以下,在读时延上甚至达到了全行业最短的80 μs。这是因为,智能芯片承载了相当一部分通用CPU的负载,可加速前端访问性能20%,比如将报表统计的时间缩短了1/3。
应该说,又快又稳,不仅是中国民航对于每一位旅客的承诺,也是对民航信息系统,对流量管理系统和底层存储系统的要求。
我们知道,今天在大数据时代,存储设备与计算设备之间的数据交换极为频繁,同时存储设备需要保证数据传输高效的同时,安全性和可恢复性同样重要。
实际上,OceanStor Dorado的RAID技术采用了华为专利算法,能够同时支持多种RAID类型,其中RAID-TP能够容忍三盘失效,从而提供了更高的可用性。
对于保障数据的高可靠,华为和莱斯信息曾经在双活还是主备两套数据库两种方案的选择上有过一些思考。双方经过详细论证和多轮全方位测试,最终一致认为华为基于存储的双活解决方案不仅效率更高、运维成本更低,而且可以保障核心业务持续在线,在承载高效率、高可靠流量管理的数据库运行上,不输于任何一家国外老牌产品。
据悉,经过严苛而缜密的评比,莱斯信息与华为合作在竞争异常激烈的招投标环节中脱颖而出。
经过一段时间的测试运行,该系统一直保持稳定运行,在民航行业进一步赢得了口碑。如今,在打造空中交通流量管理“行业大脑“的过程中,莱斯信息与华为继续深度合作,优化系统性能。
我们知道,华为把自身当作“黑土地”,提供基础设施服务,而莱斯信息这样的合作伙伴,则可以更多地把精力集中在行业业务相关的解决方案开发和客户服务上。
莱斯信息相关负责人表示:“我们都知道华为的技术实力卓越,通过近两年的合作,我们不仅体会到了华为存储设备在性能、多中心容灾抗毁和智能运维等方面的技术实力,同时也体会到了与华为合作的益处,这让我们更有信心,来应对民航各系统数据整合分析的新挑战。”
让客户满意,让合作伙伴受益,这是华为打造行业生态圈的核心理念。
在我们迎来2020年和21世纪20年代的新的 历史 时刻,或许,为空中交通出行带来可靠性保障的民航空中交通流量管理“行业大脑”,是我们在新时代“要想富,先修路”的致富新基础。信息 科技 的进步,是今天千行百业持续发展的保障,不是吗?
华为开发者大会2020(Cloud) 将于2020年2月11日-12日在深圳举办,这是华为面向ICT(信息与通信)领域全球开发者的年度顶级旗舰活动。大会旨在搭建一个全球性的交流和实践平台,开放华为30年积累的ICT技术和能力,以“鲲鹏+升腾”硬核双引擎,为开发者提供澎湃动力,改变世界,变不可能为可能。
2020年,华为中国生态大会进入第十年。 伫立十年关口,本次大会将为您呈现全新的生态篇章。 因聚而生 举势而为 ——华为中国生态大会2020 ,“华为搭台、伙伴唱戏”的 “众筹办会”模式闪亮登场,诚挚邀请您共同参与,把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。
数据库数据质量是数据库的生命,再好的入库数据质量控制的方法,如果得不能贯彻和执行,也不能保证入库数据的正确性。所以,基于上述入库数据质量控制思想,研发了航空物探数据库数据采集软件(图5-3),强制数据入库工作按规范化的流程执行,保证数据库数据质量。
数据采集软件包括数据导入录入、数据检查、数据编辑、数据归档入库等功能,为了方便数据采集人员工作,把本系统应用软件中的数据查询统计和数据制图功能也集成到该软件中。各部分功能分述如下。
图5-3 数据库数据采集软件结构
一、创建项目树
航空物探勘查项目工作一般分为航空物探生产测量、数据处理和地质解释3个阶段,野外生产测量和数据处理完成之后分别编写航空物探生产报告和数据处理报告,通过评审后须上交测量资料和处理后的数据。此时,地质解释工作正进行。
航空物探科研项目工作一般是分课题(二级项目)、课题分子课题(三级项目)等进行的。级别低的项目总是最先完成,然后评审和上交资料;级别较高的项目较后完成,一级项目最后完成,最后上交资料。
如果把勘查项目的3个阶段当成3个课题(事实上的确如此,只是习惯上不这样叫),勘查项目和科研项目不仅在工作形式上是一致的,资料上交的次序也是相同的(图5-5)。这种按项目完成的先后次序进行项目资料归档方式,在资料人工管理人工服务时代,人们并没有觉得有什么问题。只是,资料管理方式的变革,人们对资料服务提出了更高的要求,希望资料信息化管理不要再忽视不同级别项目间的关系信息。
这种关系与计算机磁盘文件管理的目录间关系是相似的,目录等同于项目,子目录等同于子项目。目录、子目录间的关系似树形结构,称为目录树;项目、子项目间的关系也似树形结构,称之为项目树。有计算机常识的人都知道,按照一定的方式建立目录树,把文件存在相应目录下,不仅文件管理更有条理,用户查找文件的速度也成倍提高。因此,本系统采用项目树方式来管理项目资料。该管理方式符合人们的思维习惯,资料查询更方便。
图5-4 数据库数据采集软件主界面
图5-5 不同级别项目资料归档次序图
在新项目数据导入或录入数据库之前,须先创建项目树。建项目树与在磁盘上创建文件目录相似,按项目(目录)、子项目(子目录)顺序创建,不能倒行逆施。然后,按项目导入或录入数据。图5-6为创建项目树界面。用户在父项目的下拉框中选择新建项目的父项目(一级项目为null),再填写项目的档案号等信息后,按“确定”创建项目树的根项目(一级项目),或项目树的一个节点(子项目),并自动为项目分配一个项目标识号,作为识别项目和项目资料的唯一标志。
图5-6 创建项目树功能界面
二、数据录入和导入
项目数据进入数据库有数据录入和数据导入两种方式。数据录入方式是使用系统的数据录入界面将数据直接录入到数据采集库中。若用户已按入库数据接口标准要求整理好入库数据,可采用导入方式将数据导入到数据采集库中。其实,这两种方式没有本质上的差别。例如,项目概况数据、空间要素类(岩石物性、异常、解释评价)属性数据等都必须是人工录入的,区别是谁来录入资料整理人员,还是数据采集人员这不属本系统的研究范畴,系统支持这两种数据入库方式。
因数据库的每张表所包含的信息不同,所以每张表都应有独立的数据录入界面(录入、浏览、编辑数据)。加之用户查询界面、数据统计界面,1张数据库表需要3个用户界面。本系统共有地球物理数据库表31张,按照常规做法需要开发93个用户界面。随着航空物探技术发展,可能在数据库表中增加新的信息,或新增数据库表,都需要通过修改软件代码来满足新的需求。该方法不仅软件研发和测试工作量大,后期软件维护工作量也很大。
为此,本系统研究出根据数据库表的描述信息动态生成用户界面的方法,此方法具有很好的通用性,对数据库的所有表均适用,有效地降低了软件开发工作量,方便了后期软件维护。图5-7是使用该方法动态生成的项目概况数据录入界面,用于项目概况数据的录入和编辑。
图5-7 项目概况数据的录入定制界面
该方法是将数据库表的描述信息存储在资料库中的库表属性清单表中,在运行时系统根据数据库表名称从库表属性清单表和其相关的数据字典表中提取该表对应的字段信息,然后调用界面定制函数,根据界面类型(录入、浏览、修改、简单查询)动态生成相应的界面。
由于数据库表包含的字段数相差较大(多的近30个字段,少的不到10个字段)、同一表的字段类型不同(有字符串、数字、时间、大字段)、字段数据类型长度不一(有的字段长度为200个字符,有的只有1个字符),同时库表的相关字段在界面上相邻摆放较合适,针对这些问题在界面定制时采取以下策略:
1)对库表字段分组,并为每组取一个合适的名字。在定制界面上,同组的字段摆放在同一张卡片中,组名作为卡片名。
2)字段值来源于数据字典表的数字型字段,用组合框显示其值,组合框中内容从数据字典表提取。用文本框显示其他数字型字段、字符串型字段值。
3)根据定制界面上父控件的尺寸、字段名称、字段数据类型长度确定其对应控件的位置和大小,控件的布局遵循一行最多显示两字段的原则。
不同类型界面的定制方法大同小异,因此采用了同界面定制代码,只是在个别地方根据需要相关处理。例如,对于大字段型的字段,如果界面定制类型为“录入”,则其对应文本框后的命令按钮为打开文件。如果界面定制类型为“浏览”,则其对应文本框后的命令按钮为浏览大字段值。
三、入库前系统检查
入库数据进入采集数据前,系统对其进行唯一性检查、缺项检查和数据类型检查,即入库前系统检查。
唯一性检查:航空物探资料库是航空物探数据的最终目的地,但可能会有部分项目数据因没有通过质量检查而滞留在采集库中。在进行新的项目数据采集过程时,为了避免项目数据2次入库,在其进入采集库前需要进行唯一性检查。方法是用入库数据每条记录主键作为查询条件,查找资料库和采集库中相对应的库表是否存在有相同的记录。例如,黄海北部海域航空磁测普查(项目标识号AGS011978000251),在项目概况数据导入采集库时,根据项目概况数据库表的项目标识号(主键)在采集库和资料库的相应表中查找是否有相同的项目标识号存在:若资料库中存在,说明该项目数据已归档;若采集库中存在,该项目数据已被导入采集库中待检,不需再次导入。
缺项检查:入库数据的字段数必须等于相应数据库表的字段数,比数据库表字段数多或少都不能通过缺项检查。
数据类型检查:对入库数据所有字段数据进行类型检查。若是日期型数据,则检查数据格式(YYYY-MM-DD),YYYY、MM、DD是否为数字。若数字型数据,检查整数位和小数位的位数是否超过范围,整数位和小数位是否为数字。字符型数据,则检查字符串长度是否超限。
入库数据通过入库前系统检查后被存入采集库中,否则软件给出错误提示信息(图5-8)。采集人员根据提示信息纠正数据中存在错误,再新导入数据。
图5-8 入库前系统检查的错误提示
四、入库后系统检查
系统对进入采集库中的数据进行非空和可空检查、前后数据检查、相关数据检查、值域范围检查、选择范围检查,即入库后系统检查(图5-9)。
非空检查:入库数据指定字段的值不能为空,如所有数据库表的项目标识不能为空,项目名称、项目参加单位名称、参加人员名称都不能为空。
可空缺项检查:入库数据指定字段的值在有一定条件下可以为空,例如当勘查项目概况表记录方式字段的值为打点记录或纸卷模拟记录时,航磁数据的采样率为空。若为数字收录,航磁数据的采样率不能为空。
前后数据检查:检查入库数据指定字段与其父表中相同字段数据的一致性,如项目参加人员表中的项目标识必须与项目概况信息中的项目标识相同。
图5-9 入库后系统检查
相关数据检查:检查相关表中相关字段数据对入库数据指定字段的约束,如项目概况信息中有项目的起始日期和完成日期两个字段,那么项目人员参加项目工作的起止日期都必须在项目的起始日期和完成日期之间。
值域范围检查:入库数据指定字段的数值必须是在设定的值域范围内,如勘查项目概况中的调机小时设定在0和100 h范围,若超过此范围,调机小时数据有错误。
选择范围检查:入库数据指定字段的数值必须是一个已知数据集合的元素之一,如项目成果评价只能在优秀、良好、通过和不合格4个选项中择其一。
根据选定的库表名提取该库表各个字段的检查规则,逐条记录进行前后数据检查、相关检查、值域范围检查、选择范围检查。发现错误,把错误记录暂存在内存中,继续进行下条记录检查,至所有记录检查完。把错误写入检查日志表(若有相同检查日志记录,则先备份到检查日志备份表后再删除,以便查看数据入库不通过的历史轨迹);否则,写入一条系统检查通过的日志记录。再进行另一张表的系统检查,所有库表全部检查后,若有错误,系统给出错误提示信息。
五、拓扑检查
航空物探解释数据和评价数据为空间要素类数据,入库时要进行拓扑检查(表5-6,图5-10)。检查各要素类之间相互位置关系的正确性。
以油气远景评价数据集为例说明拓扑检查。检查规则是局部构造异常位置应位于油气远景评价区的某一分布区内,油气远景评价区之间不以有重叠。若发现错误,把检查的错误日志暂存在内存中,继续进行拓扑检查;检查完成后,把错误写入检查日志表。没有发现拓扑错误写入一条通过拓扑检查的日志记录。
表5-7 解释数据和评价数据拓扑检查规则表
图5-10 拓扑检查空间数据源列表界面
六、文件比较检查
通过入库后系统检查和拓扑检查的入库数据,系统将对其进行与原数据文件比较检查,保证数据的一致性。所有的入库数据均须与原数据文件进行比较检查。
根据项目标识号和库表名从采集库中提取相应的数据,若存在数据字典代码,则将其替换文字字符,存放在Oracle临时表中;打开本地路径下原数据文件,逐条记录对比。若有不匹配的记录,显示提示信息,并在日志库中写一条检查日志。
七、人工检查与复核
经过系统检查、空间拓扑检查,以及文件比较检查后,还必须进行人工检查和人工复核检查。人工检查是用原表格数据、空间属性数据、解释评价数据、图件、文字报告(含软件源代码)与采集库中相应的各类数据进行人工比对。若有原始纸质图件,则需从采集库中提取相应的数据使用相同软件相同绘图参数绘图,并加以比较。若人工检查发现错误,写明错误原因(图5-11),保存日志。
图5-11 填写人工检查结果界面
人工复核检查与人工检查过程完成一样,只是人员不同。
八、系统归档检查
在入库数据归档到资料库之前,系统对归档项目数据的完整性进行检查,即归档检查。系统根据归档项目的类别、工作性质、测量方法及归档阶段,定义了项目资料归档对照表,该表记录每类项目各个归档阶段的项目资料清单和资料的归档标识。在资料归档时,系统检查项目资料的归档标识。若为非空,说明该资料必须归档;若为空,说明该资料可归档,从而保证了数据库中的项目资料完整性。
如区域航空磁力勘查项目资料归档分为3个阶段(图5-12),第一阶段是生产测量资料归档,航空磁力勘查项目概况(项目概况、勘查项目概况、航磁概况)信息、测区信息生产报告必须归档。第二阶段是数据处理资料归档,航迹线数据、航磁数据、数据处理报告必须归档。第三阶段是地质解释资料归档,项目概况信息、岩石磁性数据、图件数据、文字数据、断裂构造和区域构造单元必须归档。
科研项目资料归档时,根据项目标识号及项目级次,确定该项目是否有子项目,以及子项目资料是否已全部归档。在所有子项目资料全部归档后,使用项目资料归档向导(图5-13)进行该级次的项目资料归档。如果项目属保密项目,系统同时对归档数据进行加密。数据成功归档后,系统删除采集库中已归档数据,并把各种检查日志存放到备份日志表中,以备检查。
图5-12 勘查项目资料归档示意图
图5-13 项目资料归档向导
以上就是关于数据库逻辑模型全部的内容,包括:数据库逻辑模型、基础数据整理、航空重力数据处理系统等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)