教你轻松掌握数据仓库的规划和构建策略

教你轻松掌握数据仓库的规划和构建策略

数据仓库作为决策支持系统（DSS）的基础，具有面向主题的、集成的、不可更新的、随时间不断变化的特性。这些特点说明了数据仓库从数据组织到数据处理，都与原来的数据库有很大的区别，这也就需要在数据仓库系统设计时寻求一个适合于数据仓库设计的方法。在一般的系统开发规划中，首先需要确定系统的功能，这些系统的功能一般是通过对用户的需求分析得到的。从数据仓库的应用角度来看，DSS分析员一般是企业中的中高层管理人员，他们对决策支持的需求不能预先做出规范的说明，只能给设计人员一个抽象地描述。

这就需要设计人员在与用户不断的交流沟通中，将系统的需求逐步明确，并加以完善。因此数据仓库的开发规划过程实际上是一个用户和设计人员对其不断了解、熟悉和完善的过程。 数据仓库的开发应用规划是开发数据仓库的首要任务。只有制定了正确的数据仓库规划，才能使组织主要力量有序地实现数据仓库的开发应用。在数据仓库规划中一般需要经历这样几个过程：选择实现策略、确定数据仓库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。 当数据仓库规划完成后，需要编制相应的数据仓库规划说明书，说明数据仓库与企业战略的关系，以及与企业急需处理的、范围相对有限的开发机会，重点支持的职能部门和今后数据仓库开发工作的建议，实际使用方案和开发预算，作为数据仓库实际开发的依据。

1、选择数据仓库实现策略

数据仓库的开发策略主要有自顶向下、自底向上和这两种策略的联合使用。自顶向下策略在实际应用中比较困难，因为数据仓库的功能是一种决策支持功能。这种功能在企业战略的应用范围中常常是很难确定的，因为数据仓库的应用机会往往超出企业当前的实际业务范围，而且在开发前就确定目标，会在实现预定目标后就不再追求新的应用，是数据仓库丧失更有战略意义的应用。由于该策略在开发前就可以给出数据仓库的实现范围，能够清楚地向决策者和企业描述系统的收益情况和实现目标，因此是一种有效的数据仓库开发策略。该方法使用时需要开发人员具有丰富的自顶向下开发系统的经验，企业决策层和管理人员完全知道数据仓库的预定目标并且了解数据仓库能够在那些决策中发挥作用。

自底向上策略一般从某个数据仓库原型开始，选择一些特定的为企业管理人员所熟知的管理问题作为数据仓库开发的对象，在此基础上进行数据仓库的开发。因此，该策略常常用于一个数据集市、一个经理系统或一个部门的数据仓库开发。该策略的优点在于企业能够以较小的投入，获得较高的数据仓库应用收益。在开发过程中，人员投入较少，也容易获得成效。当然，如果某个项目的开发失败可能造成企业整个数据仓库系统开发的延迟。该策略一般用于企业洗碗对数据仓库的技术进行评价，以确定该技术的应用方式、地点和时间，或希望了解实现和运行数据仓库所需要的各种费用，或在数据仓库的应用目标并不是很明确时，数据仓库对决策过程影响不是很明确时使用。

在自顶向下的开发策略中可以采用结构化或面向对象的方法，按照数据仓库的规划、需求确定、系统分析、系统设计、系统集成、系统测试和系统试运行的阶段完成数据仓库的开发。而在自底向上的开发中，则可以采用螺旋式的原型开发方法，使用户可以根据新的需求对试运行的系统进行修改。螺旋式的原型开发方法要求在较短的时间内快速的生成可以不断增加功能的数据仓库系统，这种开发方法主要适合于这样一些场合：在企业的市场动向和需求无法预测，市场的时机是实现产品的重要组成部分，不断地改进对与企业的市场调节是必需的；持久的竞争优势来自连续不断地改进，系统地改进是基于用户在使用中的不断发现。 自顶向下和自底向上策略的联合使用具有两种策略的优点，既能快速的完成数据仓库的开发与应用，还可建立具有长远价值的数据仓库方案。但在实践中往往难以 *** 作，通常需要能够建立、应用和维护企业模型、数据模型和技术结构的、具有丰富经验的开发人员，能够熟练的从具体（如业务系统中的元数据）转移到抽象（只基于业务性质而不是基于实现系统技术的逻辑模型）；企业需要拥有由最终用户和信息系统人员组成的有经验的开发小组，能够清楚地指出数据仓库在企业战略决策支持中的应用。

2、确定数据仓库的开发目标和实现范围

为确定数据仓库的开发目标和实现范围，首先需要对企业管理者等数据仓库用户解释数据仓库在企业管理中的应用和发展趋势，说明企业组织和使用数据来支持跨功能系统的重要性，对企业经营战略的支持，以确定开发目标。在该阶段确认与使用数据仓库有关的业务要求，这些要求应该只支持最主要的业务职能部门，将使用精力集中在收益明显的业务上，使数据仓库的应用立即产生效果，不应该消耗太多的精力在各个业务上同时铺开数据仓库的应用。

在确定开发目标和范围以后，应该编制需求文档，作为今后开发数据仓库的依据。 数据仓库开发的首要目标是确定所需要信息的范围，确定用户提供决策帮助时，在主题和指标域需要哪些数据源。这就需要定义：用户需要什么数据？面向主题的数据仓库需要什么样的支持数据？为成功地向用户提交数据，开发人员需要哪些商业知识？哪些背景知识？这就需要定义整体需求，以文件的形式整理现存的记录系统和系统环境，对使用数据仓库中数据的候选应用系统进行标识、排序，构造一个传递模型，确定尺度、事实及时间标记算法，以便从系统中抽取信息且将他们放入数据仓库。通过信息范围确定可为开发人员提供一个良好的分析平台，和用户一起分析哪些信息是数据仓库需要的，进行商业活动需要什么数据。开发人员可以和用户进一步定义需要，例如数据分级层次、聚合的层次、加载的频率以及需要保持的时间表等。 数据仓库开发的另一个重要目标是确定利用哪些方法和工具访问和导航数据？虽然用户都需要存取并且检索数据仓库的内容，但是所存取的粒度有所不同，有的可能是详细的记录，有的可能是比较概括的记录或十分概括的记录。用户要求的数据概括程度不同，将导致数据仓库的聚集和概括工具的需求不同。

数据仓库还有具有一定功能来访问和检索图表、预定义的报表、多维数据、概括性数据和详细记录。用户从数据仓库中获得信息，应该有电子表格、统计分析器和支持多维分析的分析处理器等工具的支持，以解释和分析数据仓库中的内容，产生并且验证不同的市场假设、建议和决策方案。为将决策建议和各种决策方案向用户清楚地表达出来，需要利用报表、图表和图像等强有力的信息表达工具。 数据仓库开发的其他目标，是确定数据仓库内部数据的规模。在数据仓库中不仅包含当前数据，而且包含多年的历史数据。数据的概括程度决定了这些数据压缩和概括的最大限度。如果要让数据仓库提供对历史记录进行决策查询的功能，就必须支持对大量数据的管理。数据的规模不仅直接影响决策查询的时间，而且还将直接影响企业决策的质量。

在数据仓库的开发目标中，还有：根据用户对数据仓库的基本需求，确定数据仓库中数据的含义；确定数据仓库内容的质量，以确定使用、分析和建议的可信级别；哪种类型的数据仓库可以满足最终用户的需求，这些数据仓库应该具有怎样的功能；需要哪些元数据，如何使用数据源中的数据等。 数据仓库的开发目标多种多样，十分复杂，需要开发人员和用户在开发与使用的过程中不断交互完善。因此，在规划中需要确定数据仓库的开发范围。使开发人员能够根据需求和目标的重要性逐步进行，并且在开发中吸取经验教训，为数据仓库在企业中的全部实现提供技术准备。因此，在为数据仓库确定总体开发方向和目标以后，就必须确定一个有限的能够很快体现数据仓库效益的使用范围。在考虑数据仓库苦的应用范围时，主要从使用部门的数量和类型、数据源的数量、企业模型的子集、预算分配以及开发项目所需的时间等角度分析。

在分析这些因素时，可从用户的角度和技术的角度两方面进行。 从用户的角度应该分析哪些部门最先使用数据仓库？是哪些人员为了什么目的使用数据仓库？以及数据仓库首先要满足哪些决策查询？因为这些决策查询往往确定了关于数据维数、报表的种类，这些因素都将确定数据仓库定义时所需要的数量关系。查询的格式越具体，越容易提供数据仓库的维数、聚集和概括的规划说明。 从技术角度分析，应该确定数据仓库中元数据库的规模，数据仓库的元数据库是存储数据仓库中数据定义的模型。数据定义存储在仓库管理器的目录中，可以作为所有查询和报表工具构造和查询数据仓库的依据。元数据库的规模直接表示了数据仓库中必须管理的数据规模。通过对元数据库规模的管理，实际上就确定了数据仓库中所需要管理的数据规模。

3、数据仓库的结构选择

数据仓库的结构可以进行灵活的选择，可将组织所使用的各种平台进行恰当的分割，把数据源、数据仓库和最终用户使用的工作站分割开来进行恰当的设计。

（1）数据仓库的应用结构

基于业务处理系统的数据仓库 在这种结构中，将运作的数据用于无需修改数据的只读应用程序中。具有这种结构的数据仓库元数据库是一种虚库，而不是数据仓库自身的元数据。在数据仓库元数据库的直接指导下，对数据仓库的查询就是简单的从数据库中抽取数据。

单纯数据仓库

利用在数据仓库中的数据源净化、集成、概括和集成等 *** 作，将数据源从业务处理系统中传输进集中的数据仓库，各部门的数据仓库应用只在数据仓库中进行。这种结构经常发生在多部门、少用户使用数据仓库的情况下。这里的集中仅仅是逻辑上的，物理上可能是分散的。

单纯数据集市

数据集市是指在部门中使用的数据仓库，因为企业中的各个职能部门都有自己的特殊需要，而统一的数据仓库可能不能满足这些部门的特殊要求。这种体系结构经常发生在个别部门对数据仓库的应用感兴趣，而组织中其他部门却对数据仓库的应用十分冷漠之时，由热心的部门单独开发式所采用。

数据仓库和数据集市

企业各部门拥有满足自己需要的数据集市，其数据从企业数据仓库中获取，而数据仓库从企业各种数据源中收集和分配。这种体系结构是一种较为完善的数据仓库体系结构，往往发生在组织整体对数据仓库应用感兴趣之时所采用的体系结构。

（2）数据仓库的技术平台结构 单层结构

单层结构主要是在数据源和数据仓库之间共享平台，或者让数据源、数据仓库、数据集市与最终用户工作站使用同一个平台。共享一个平台可以降低数据抽取和数据转换的复杂性，但是共享平台在应用中可能遇到性能和管理方面的问题，这种体系结构一般在数据仓库规模较小，而组织的业务系统平台具有较大潜力之时所采用。

客户/服务器两层结构

一层为客户机，一层为服务器，最终用户访问工具在客户层上运行，而数据源、数据仓库和数据集市位于服务器上，该技术机构一般用于普通规模的数据仓库。

三层客户/服务器结构

基于工作站的客户层、基于服务器的中间层和基于主机的第三层。主机层负责管理数据源和可选的源数据转换；服务器运行数据仓库和数据集市软件，并且存储仓库的数据；客户工作站运行查询和报表运用程序，且还可以存储从数据集市或数据仓库卸载的局部数据。在数据仓库稍具规模，两层数据仓库结构已经不能满足客户的需求，要讲数据仓库的数据存储管理、数据仓库的应用处理和客户端应用分开之时，可以采用这种结构。

多层式结构

这是在三层机构基础上发展起来的数据仓库结构，在该结构中从最内数据层到最外层的客户层依次是：单独的数据仓库存储层、对数据仓库和数据集市进行管理的数据仓库服务层、进行数据仓库查询处理的查询服务层、完成数据仓库应用处理的应用服务层和面向最终用户的客户层。体系层次可能多达五层，这种体系结构一般用于超规模数据仓库系统。

4、数据仓库使用方案和项目规划预算

数据仓库的实际使用方案与开发预算，是数据仓库规划中最后需要确定的问题。因为数据仓库主要用于对企业管理人员的决策支持，确保其实用性是十分重要的，因此需要让最终用户参与数据仓库的功能设计。这种参与是通过用户的实际使用方案进行的，使用方案是一个非常重要的需求模型。实际使用方案必须有助于阐明最终用户对数据仓库的要求，这些要求有的只使用适当的数据源就可以得到基本满足，而有的却需要来自企业外部的数据源，这就需要通过使用方案将这些不同的要求联系起来。 实际使用方案还可以将最终用户的决策支持要求与数据仓库的技术要求联系起来。因为当用户确定最终要求后，为元数据库的范围确定一个界限。还可以确定所需要的历史信息的数量，当根据特定的用户进行数据仓库的规划时，就可确定最终用户所关心的维度（时间、方位、商业单位和生产企业），因为维度与所需要的概括 *** 作有明显的关系，必须选择对最终用户有实际意义的维度，如：“月”、“季度”、“年”等。最后，还可以确定数据集市/数据仓库的结构需要，使设计人员确定采用单纯数据仓库结构，还是单纯的数据集市结构或者是两者相结合的结构。

在实际使用开发方案确定后，还需要对开发方案的预算进行估计，确定项目的投资数额。投资方案的确定可以依据以往的软件开发成本，但是这种预算的评估比较粗糙。另一种方法是参照结构进行成本评估，也就是说，将数据仓库实际使用方案所确定的构件进行分解，根据各个构件的成本进行预算估算。数据仓库的构件包含在数据源、数据仓库、数据集市、最终用户存取、数据管理、元数据管理、传输基础等部分中，这些构件有的在企业原有信息系统中已经具备，有的可以选择商品化构件，有的则需要自我开发。根据这些构件的不同来源，可以确定比较准确的预算。 在完成数据仓库规划后，就需要编制数据仓库开发说明书，说明系统与企业战略目标的关系，以及系统与企业急需处理的范围相对有限的开发机会，所设想的业务机会的说明以及目标任务概况说明、重点支持的职能部门和今后工作的建议。数据仓库项目应有明确的业务价值计划开始，在计划中需要阐明期望取得的有形和无形的利益。无形利益包含利用数据仓库使决策完成得更快更好等利益。

业务价值计划最好由目标业务主管来完成，因为数据仓库是用户驱动的，应该让用户积极参与数据仓库的建设，在规划书中要确定数据仓库开发目标的实现范围、体系结构和使用方案及开发预算。

图4-1 数据库建库流程图

（一）建库流程

分等数据库的建立包括图形数据库的建立和属性数据库的建立以及空间数据与属性数据的联接（图4-1）。其具体内容包括原始数据的收集整理与入库要素的选择、图纸的扫描矢量化、图形坐标系变换与数据编辑、属性数据整理编码和输入、图形数据与属性数据的联接等过程。

（二）图形数据库的建立

1图形预处理

图形资料的预处理包括检查、修改、清绘、坐标格网调整、制图综合等。图形预处理是为简化图形数字化工作而进行的图层要素整理与删选过程。采用扫描数字化时，对每个专题要素都必须加工数字化原稿，并且确保原稿的质量，要求线划均匀、墨色深浅一致、交接关系清楚、相邻线段间距清晰、图面干净无污点。

2图件的扫描与纠正

对农用地分等基础图件进行扫描，对于扫描后发生旋转和扭曲变形的地方，使用专业软件进行纠正。

3坐标配准

在矢量化之前对分等基础图件进行坐标配准。使用GIS软件多元图像分析系统，完成土壤图向土地利用现状电子图件坐标系的配准。土地利用现状图为参照文件，土壤图为校正文件，校正文件以参照文件为标准进行处理。校正文件仅包括MSI图像文件，因此必须把TIF格式的土壤图图像文件转换为MSI文件。

校正文件中的控制点信息是系统处理的主要对象，因此需要在校正文件和参照文件中分别选择一定数量的控制点。在MSI图像中加入了几何控制点后，MSI图像具有了地理坐标的概念，就能完成各种 *** 作，包括图像之间的配准。

4屏幕矢量化

地图的矢量化是把配准后的栅格图像转换为矢量文件的过程。在GIS软件图形编辑子系统下使用交互式矢量化，完成县级农用地分等基础图件的矢量化工作。

5图形编辑、修改与拓扑关系建立

对于矢量化好的线文件（wl），在GIS软件图形编辑子系统下进行拓扑处理。其步骤为：数据准备——自动剪短线——清除微短线——清除重叠坐标与自相交——检查重叠线——节点平差——线拓扑错误检查——线转弧段——拓扑重建。完成拓扑重建后的文件为区文件（wp）。

（三）属性数据库的建立

属性数据的输入可以在GIS软件平台下逐单元手工输入，但 *** 作较慢，而且会造成重复性输入，比如同样土种的土壤属性就要输入多次。属性数据的录入是一项繁琐易错的工作，可选择简单易用的Excel平台进行属性数据的录入，录入后进行1～2次的检查。

GIS软件图形数据的属性字段中有个标识码字段（ID），可以用来作为图形数据与属性数据的公用字段，通过GIS软件属性库管理子系统，可完成图形数据和属性数据的联接。

属性数据主要来源有两方面：第二次土壤普查成果资料，包括土壤类型、土壤表层质地、土体剖面构型、土壤有机质、土壤pH值等原始属性资料；野外实地调查资料，包括投入产出数据、地下水位、灌溉保证率、排水条件等。

（四）图形数据库与属性数据库的联接

在GIS软件属性库管理子系统中完成图形数据与属性数据的联接。GIS软件能够联接的数据库文件有DBASE、FoxPro、VisualFoxPro、Text、Access、Excel等数据库软件生成的文件。通过选择联接文件和被联接文件以及关键字段，使空间数据和属性数据两种数据模型联为一体，由此实现空间数据和属性数据之间的相互查询与检索。

（五）DTM分析与空间分析

在GIS软件数字地面模型（DTM）子系统中，以通过矢量化等高线生成的数字高程模型DEM为分析数据，通过“高程点坡度、坡向”分析，把坡度值写入到已经过图斑统一编码的县级土地利用现状图属性库中。

在空间分析子系统中，把土地利用现状图、土壤图、土壤养分分布图等进行空间合并分析。要求不打破土地利用现状图图斑。空间合并后的单元就具有了土地利用现状图、土壤图、土壤养分分布图上的属性，从而形成了县级分等单元的空间与属性数据库。

（六）分等公式的编辑与计算

在MapGIS属性数据库管理子系统中，把雷州市农用地分等单元的属性数据导出为Excel文件。根据《农用地分等规程》、《广东省农用地分等定级与估价技术方案》中的计算方法，在导出的Excel表格中编辑公式，计算各分等单元的自然质量等指数、农用地利用等指数和农用地经济等指数。以200分为间距划分等级，然后把划分好的等级写入到相应属性字段的属性中。

(一)数据内容

基础数据库包括系统运行前所采集到的所有支撑数据，数据的具体内容在数据分类与数据源章节中已描述，概括可分为以下几类。

(1)遥感影像数据:包括历史图像数据，以及按照一定监测周期更新的遥感图像数据。

(2)数字线划图数据:矢量数据(现状专题图和历史专题图数据)、栅格数据、元数据等。入库前数据以ArcInfoCoverage格式分幅或整体存储，采用地理坐标系统。

(3)数字栅格图数据:包括1∶5万和1∶10万基础地理图形数据的扫描栅格数据。

(4)数字高程模型数据:塔里木河干流河道1∶1万和“四源一干”区域1∶10万数字高程模型。

(5)多媒体数据:考察照片、录像、录音和虚拟演示成果等多媒体资料。

(6)属性数据:社会经济与水资源数据、水利工程数据、生态环境数据等。

(二)数据存储结构

1栅格数据

栅格数据包括遥感影像、数字栅格图、数字正射影像图、数字高程模型等，这些数据的存储结构基本类似，因此可进行统一设计。遥感图像数据库与普通的图像数据库在存储上有些差别，遥感图像作为传感器对地理、空间环境在不同条件下的测量结果(如光谱辐射特性、微波辐射特性)，必须结合同时得到的几个图像才可以认为是对环境在一定的时间条件下的完整的描述，也即是说，可能需要一个图像集合才能构成一个图像的完整的概念，并使之与语义信息产生联系(罗睿等，2000)。因此，遥感图像数据存储结构模型必须能够描述几个图像(波段)之间的逻辑关系。利用ArcSDE进行数据入库时，系统可自动建立各图像(波段)之间的关系，并按一定规则存储在数据库系统中。

对栅格数据在后台将采用Oracle数据库管理系统进行存储。Oracle系统可直接存储影像信息，并具有较强的数据管理能力，可以实现栅格数据信息的快速检索和提取。数据引擎采用ArcSDE，实现各类影像数据的入库。数据存储的关键是建立图幅索引，本系统数据的存储按图幅号、图名、采集时间等内容建立索引。

栅格数据依据图形属性一体化的存储思想，采用大二进制格式直接存储数据，这种方式的存储可实现内容的快速检索查询，按索引表检索出相关项后可直接打开栅格数据，提高栅格数据的管理效率。

2矢量数据

本系统采用图属一体化思想即将空间数据和属性数据合二为一，全部存在一个记录集中的思想存储空间数据，是目前GIS数据非常流行的存储方法。考虑到数据的具体情况，决定采用数据库存储空间数据和属性数据，部分具有少量、定型几何信息的地理要素如水文测站、河流、湖泊等，采用图属一体化思想存储其信息，而与其有关联关系的大量、多边化的属性信息如水文信息，则存储在属性数据表中，利用唯一标识符信息建立两表的关联。

针对本系统空间数据的特点，系统按照“数据库—子库—专题(基础数据)—层—要素—属性”的层次框架来构筑空间数据库，按照统一的地理坐标系统来存储空间数据，以实现对地理实体/专题要素进行分层叠加显示。

3多媒体数据

Oracle系统可直接存储和视频信息，并具有较强的数据管理能力，可以实现多媒体信息的快速检索和提取。多媒体数据存储的关键是建立索引表，本系统多媒体数据的存储按类型、时间、内容等项目建立索引，直接存储于Oracle数据库中。

多媒体数据存储时，可以将多媒体内容与索引表结构合为一体，采用大二进制格式直接存储，这种存储方式可实现内容的快速检索和查询，按索引表检索出相关项后可直接打开多媒体内容，而且多媒体数据库也便于维护管理。

(三)空间索引设计

1矢量空间索引

确定合适的格网级数、单元大小是建立空间格网索引的关键。格网太大，在一个格网内有多个空间实体，查询检索的准确度就低。格网太小，则索引数据量成倍增长和冗余，检索的速度和效率低。每一个数据层可采用不同大小、不同级别的空间索引格网单元，但每层级数最多不能超过三级。索引方式设置遵循以下基本原则:

(1)对于简单要素的数据层，尽可能选择单级索引格网，减少RDBMS搜索格网单元索引的级数，缩短空间索引搜索的过程;

(2)如果数据层中的要素封装边界大小变化比较大，应选择2或3级索引格网;

(3)如果用户经常对图层执行相同的查询，最佳格网的大小应是平均查询范围的15倍;

(4)格网的大小不能小于要素封装边界的平均大小。为了减少每个格网单元有多个要素封装边界的可能性，格网单元的大小应取要素封装边界平均大小的3倍;

(5)格网单元的大小不是一个确定性的问题，需要多次尝试和努力才会得到好的结果。有一些确定格网初始值的原则，用它们可以进一步确定最佳的格网大小。

SDE(Spatial Data Engine，即空间数据引擎)，从空间管理的角度看，是一个连续的空间数据模型，可将地理特征的空间数据和属性数据统一集成在关系型数据库管理系统中。关系型数据库系统支持对海量数据的存储，从而也可实现对空间数据的海量存储。空间数据可通过层来进行数据的划分，将具有共同属性的一类要素放到一层中，每个数据库记录对应一层中一个实际要素，这样避免了检索整个数据表，减少了检索的数据记录数量，从而减少磁盘输入/输出的 *** 作，加快了对空间数据查询的速度。

ArcSDE采用格网索引方式，将空间区域划分成合适大小的正方形格网，记录每一个格网内所包含的空间实体(对象)，以及每一个实体的封装边界范围，即包围空间实体的左下角和右上角坐标。当用户进行空间查询时，首先计算出用户查询对象所在格网，然后通过格网号，就可以快速检索到所需的空间实体。因此确定合适的格网级数、单元大小是建立空间格网索引的关键，太大或太小均不合适，这就需要进行多次尝试，确定合适的网格大小，以保证各单元能均匀落在网格内。利用ArcSDE的索引表创建功能，记录每一网格单元的实体分布情况，形成图层空间索引表。根据空间索引表，ArcSDE实现了对空间数据的快速查询。

2栅格数据空间索引

栅格数据的空间索引通过建立多级金字塔结构来实现。以高分辨率栅格数据为底层，逐级抽取数据，建立不同分辨率的数据金字塔结构，逐级形成较低分辨率的栅格数据。该方法通常会增加20%左右的存储空间，但却可以提高栅格数据的显示速度。在数据库查询检索时，调用合适级别的栅格数据，可提高浏览和显示速度。

(四)入库数据校验

入库数据的质量关系到系统评价分析结果的准确性。数据在生产中就需要严格进行质量控制。依据数据生产流程，将数据质量控制分成生产过程控制和结果控制。生产过程控制包括数据生产前期的质量控制、数据生产过程中的实时质量控制，结果质量控制为数据生产完成后的质量控制(裴亚波等，2003)。对入库数据的校验主要是进行数据生产完成后的质量控制和检查。

1规范化检查

(1)代码规范化:所有地理代码尽量采用国家标准和行业标准，例如，行政代码采用中华人民共和国行政区划代码国标。

(2)数据格式规范化:所有数据采用标准交换数据格式，例如，矢量数据采用标准输出Coverage格式和E00格式。

(3)属性数据和关系数据字段规范化:所有属性数据和关系数据提前分门别类地设计字段的内容、长短和格式， *** 作过程中严格执行。

(4)坐标系统规范化:本系统所有与空间有关的数据采用统一的空间坐标系统，即地理坐标系统。

(5)精度规范化:所有数据按照数据精度与质量控制中所要求的精度进行采集和处理。

(6)命名规范化:所有数据按照命名要求统一命名，便于系统的查询。

(7)元数据规范化:依照元数据标准要求，进行元数据检查。

2质量控制

数据质量是GIS成败的关键。对于关系型数据库设计，只要能保证表的实体完整性和参照完整性，并使之符合关系数据库的三个范式即可。对于空间数据库设计，则不仅要考虑数据采样、数据处理流程、空间配准、投影变换等问题，还应对数据质量做出定量分析。

数据质量一般可以通过以下几个方面来描述(吴芳华等，2001):

(1)准确度(Accuracy):即测量值与真值之间的接近程度，可用误差来衡量;

(2)精度(Precision):即对现象描述得详细程度;

(3)不确定性(Uncertainty):指某现象不能精确测得，当真值不可测或无法知道时，就无法确定误差，因而用不确定性取代误差;

(4)相容性(Compatibility):指两个来源不同的数据在同一个应用中使用的难易程度;

(5)一致性(Consistency):指对同一现象或同类现象表达的一致程度;

(6)完整性(Completeness):指具有同一准确度和精度的数据在类型上和特定空间范围内完整的程度;

(7)可得性(Accessibility):指获取或使用数据的容易程度;

(8)现势性(Timeliness):指数据反映客观现象目前状况的程度。

塔里木河流域生态环境动态监测系统的所有数据在数据质量评价后，还需要从数据格式、坐标一致性等方面进行入库质量检验，只有通过质量检验的数据才可以入库。

3数据检验

空间数据质量检验包括以下步骤:

(1)数据命名是否规范，是否按设计要求命名;

(2)数据是否能够正常打开;

(3)投影方式是否正确;

(4)坐标系统是否正确;

(5)改错是否完成，拓扑关系是否建立;

(6)属性数据是否正确，包括字段设置是否依据设计进行、是否有空属性记录、是否有属性错误记录等。

关系数据质量检验包括以下步骤:

(1)数据命名是否规范，是否按设计要求命名;

(2)数据是否能够正常打开;

(3)数据字段是否按设计要求设置;

(4)是否有空属性记录;

(5)是否有属性错误记录。

属性数据的校验，主要采用以下三种方式:

(1)两次录入校验:对一些相互之间毫无关联的数据，进行两次的录入，编写程序对两次录入的结果进行比较，找出两次录入结果不一样的数据，查看正确值，进行改正。

(2)折线图检验:对一些相互之间有关联的序列数据，如人口统计数据，对这一类数据，编写程序把数据以折线图的形式显示在显示器上，数据的序列一般都有一定规律，如果出现较大的波动，则需对此点的数据进行检查修改。

(3)计算校验:对一些按一定公式计算后所得结果与其他数据有关联的数据，如某些数据的合计等于另一数据，编写程序对这类数据进行计算，计算结果与有关联的数据进行比较，找出结果不一样的数据，查看正确值，进行改正。

图形数据的校验，主要包括以下步骤(陈俊杰等，2005):

(1)图层校验:图形要素的放置图层是唯一的。对于入库的Coverage数据，系统将根据图层代码进行检查，确保图形要素对层入座。

(2)代码检查:图形要素的代码是唯一的。对于入库的Coverage数据，系统将根据入库要素代码与特征表中的代码进行比较，确保入库数据代码存在，杜绝非法代码入库。

(3)类型检查:对入库的数据，检查该要素的类型与特征表中的类型是否一致，确保图形要素对表入座。如点要素、线要素、面要素仅能赋相应的点、线、面代码，且该代码必须与特征表中的数据类型代码相同。

(4)范围检查:根据入库的数据，确定该类要素的大体范围(如X、Y坐标等)，在数据入库前，比较入库数据与范围数据的大小，若入库数据在该范围内，则入库，否则给出提示检查信息。

(五)数据入库

1遥感影像数据

利用空间数据引擎———ArcSDE可实现遥感影像数据在Oracle数据库中的存储和管理，在影像数据进行入库时，应加入相应的索引和影像描述字段。

遥感影像入库步骤:

(1)影像数据预处理:要将塔里木河遥感影像数据库建成一个多分辨率无缝影像数据库系统，客观上要求数据库中的影像数据在几何空间、灰度空间连续一致。因此，在数据采集阶段就需要对影像数据进行预处理，包括图像几何校正、灰度拼接(无缝镶嵌)、正射处理、投影变换等。

几何校正的目的是使校正后的图像重新定位到某种地图投影方式，以适用于各种定位、量测、多源影像的复合及与矢量地图、DTM等的套合显示与处理。几何校正多采用二次多项式算法和图像双线性内插重采样法进行图像校正。将纠正后具有规定地理编码的图像按多边形圈定需要拼接的子区，逐一镶嵌到指定模版，同时进行必要的色彩匹配，使整体图像色调一致，完成图像的几何拼接，再采用金字塔影像数据结构和“从粗到精”的分层控制策略实现逐级拼接。

数字正射影像具有统一的大地坐标系、丰富的信息量和真实的景观表达，易于制作具有“独立于比例尺”的多级金字塔结构影像。可以采用DTM和外方位元素经过数字微分纠正方法，获得数字正射影像，它的基本参数包括原始影像与正射影像的比例尺、采样分辨率等(方涛等，1997)。

投影变换需根据数据库系统定义的标准转换到统一的投影体系下。

(2)影像数据压缩:随着传感器空间分辨率的提高和对遥感信息需求的日益增长，获取的影像数据量成几何级数增大，如此庞大的数据将占用较大的存储空间，给影像的存储和传输带来不便(葛咏等，2000)。目前，系统处理的遥感影像数据已达数百千兆，单个文件的影像数据最大达到了2G，这样的数据量在调用显示时速度很慢，对影像数据进行压缩存储，将大大提高影像访问效率。本系统采用ArcSDE软件提供的无损压缩模式对入库影像进行压缩。

(3)影像导入:遥感影像的入库可通过ArcSDE或入库程序进行导入，并填写相关的索引信息，在入库时对大型的遥感影像数据进行自动分割，分为若干的块(tiles)进行存储。

(4)图像金字塔构建:采用ArcSDE提供的金字塔构建工具在入库时自动生成图像金字塔，用户只需要选择相应的参数设置即可。图像金字塔及其层级图像按分辨率分级存储与管理。最底层的分辨率最高，并且数据量最大，分辨率越低，其数据量越小，这样，不同的分辨率遥感图像形成了塔式结构。采用这种图像金字塔结构建立的遥感影像数据库，便于组织、存储与管理多尺度、多数据源遥感影像数据，实现了跨分辨率的索引与浏览，极大地提高了影像数据的浏览显示速度。

2数字线划图

对纸图数字化、配准、校正、分层及拼接等处理后，生成标准分幅和拼接存储的数字矢量图，就可以进行图形数据入库。

(1)分幅矢量图形数据、图幅接合表:按图形比例尺、图幅号、制作时间、图层等方式，通过入库程序导入到数据库中，同时导入与该地理信息相对应的属性信息，建立空间信息与属性信息的关联。

(2)拼接矢量图形数据:按图形比例尺、制作时间、图层等方式，通过入库程序导入到数据库中，同时导入与该地理信息相对应的属性信息，建立空间信息与属性信息的关联。

3栅格数据

对纸图数字化、配准、校正、分层及拼接等处理后，生成标准分幅和整体存储的数字栅格图，然后进行图形数据入库。

(1)分幅栅格图形数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式，通过入库程序导入到数据库中。

(2)整幅栅格图形数据:按比例尺、制作时间等方式，通过入库程序导入到数据库中。

4数字高程模型

(1)分幅数字高程模型数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式，通过入库程序导入到数据库中。

(2)拼接数字高程模型数据:按比例尺、制作时间等方式通过入库程序导入到数据库中。

5多媒体数据

多媒体数据入库可根据多媒体数据库内容的需要对入库数据进行预处理，包括音频、视频信息录制剪接、文字编辑、色彩选配等。对多媒体信息的加工处理需要使用特定的工具软件进行编辑。由于音频信息和视频信息数据量巨大，因此，对多媒体数据存储时需采用数据压缩技术，现在的许多商用软件已能够直接存储或播放压缩后的多媒体数据文件，这里主要考虑根据数据显示质量要求选择采用不同的存储格式。图4－2为各类多媒体数据的加工处理流程。

图4－2 多媒体数据加工处理流程图

6属性数据

将收集的社会经济、水利工程、生态环境等属性资料，进行分析整理，输入计算机，最后经过程序的计算处理，存储到数据库中，具体流程如图4－3所示。

图4－3 属性数据入库流程图

1、单击打开phpstudy软件，然后单击mySQL管理器。

2、进入PHPmyadmin登录界面，默认帐号和密码为root。

3、然后，单击数据库并输入所需的数据名称，例如：new，随机获取。

4、然后，单击用户并单击“下一步”以添加用户。

5、填写用户名，主机选择local，密码设置为2。一种是自己设置，另一种是使用系统生成。然后单击添加用户。

6、添加成功后，您可以在下面的图像中看到它，然后单击编辑权限。

7、将进入图形界面，但不在此处设置权限。

8、将滚动条滚动到此点，然后选择刚刚设置的名称。

9、将快速进入权限设置界面，数据和结构选择，管理全部，然后单击执行。

10、完成上述步骤后，构建数据库就完成了。效果如下。

图形数据库将地图与其它类型的平面图中的图形描述为点、线、面等基本元素，并将这些图形元素按一定数据结构（通常为拓扑数据结构）建立起来的数据集合。包括两个层次：第一层次为拓扑编码的数据集合，由描述点、线、面等图形元素间关系的数据文件组成，包括多边形文件、线段文件、结点文件等。文件间通过关联数据项相互联系；第二层次为坐标编码数据集合，由描述各图形元素空间位置的坐标文件组成。图形数据库是地理信息系统中对矢量结构地图数字化数据进行组织的主要形式。

建立地理环境知识图谱通常需要从以下几个方面入手：

收集遥感影像数据：可以使用遥感卫星或飞机拍摄的影像数据，也可以使用已有的遥感影像数据库。

对遥感影像进行处理：需要对遥感影像进行预处理，包括去噪、校正、分类等 *** 作。

建立地理知识模型：需要建立一个地理知识模型，描述地理环境中的实体（如地形、土壤、植被等）和它们之间的关系。

建立地理知识图谱：使用地理知识模型建立地理知识图谱，并使用遥感影像为图谱中的实体进行标注。

使用地理知识图谱：地理知识图谱可以用于各种地理环境应用，如地形分析、土地利用规划、资源管理等。

需要注意的是，建立地理知识图谱的过程需要结合遥感影像的特点，进行相应的调整。

在遥感图像处理系统空间数据库的建立过程中，由于我们的大部分资料来源于现有的地图，因而以地图的数据处理，采用扫描矢量化的数字化手段进行数据录入，各种地图处理，数据入库工作流程可分为预处理、图形扫描数字化、图层数据建立拓扑关系、建属性数据库、图层矢量数据与属性数据联接、投影转换、图幅拼接、图面整饰、数据入库九个阶段。如图7-9所示。

图7-9 数据采集工作流程图

（1）图形预处理

资源信息是多源和多尺度的。毫无疑问，对这些资料的初步整理是数字化工作进程的重要一环。

本系统将采用统一的坐标系统，坐标系为1980西安坐标系，高程系为1985国家高程基准。所有的图形数据均应该转换到此坐标系。

（2）图形扫描数字化

在地图数据采集过程中，由于地图原图质量、内容、比例尺和扫描过程中的种种因素，根据纸介质地图的图形要素和彩色特征提取的分层图仍会带有各种噪声以及不需要的其他一些信息，为了获得正确的、干净的数据，在数字化之前，要进行二值化、去脏、光滑、断线修补、细化处理等预处理步骤。

（3）图层数据建立拓扑关系与图形编辑

矢量化后的各图层，利用ArcGIS软件提供的功能建立拓扑关系，在建拓扑关系时会发现图形数据错误，要进行编辑、修改，再重新建立拓扑关系，这一过程可能做多次，直到数据正确为止。

（4）建属性数据库

按已采集的属性数据表，和标准规定格式，利用通用的数据库管理软件建立分层数据库，文字型数据要按标准代码录入。

（5）图层矢量数据与属性数据联接

按图元编码（用户ID）将矢量数据与属性数据联接。对于已建立联接的各类空间数据和属性数据，通过ArcGIS 系统对它们做进一步的编辑和修改，确保数据库的准确性和完整性。在ArcGIS 系统中，图形数据被分成“点”、“线”、“面”三种几何要素，它们都有各自相关的属性，在进行拓扑处理后，这三种要素间便拥有了相关的空间拓扑结构，这种空间数据关系与相应的属性数据是一种动态联结关系，这也是在ArcGIS系统中能够进行空间分析的关键所在。属性数据的编辑可通过ArcGIS系统的数据库管理系统进行数据结构定义（如数据项名称、类型、长度等）、数据编辑（如插入、删除、拷贝等）、数据查询检索等等，形成可供使用的属性数据库。

（6）投影转换

同一工作区可能利用不同比例、不同投影的图件，要对不同来源、不同时间分辨率和空间分辨率的点、线、面数据进行计算，在拼接图层之前必须对它们进行投影转换，使最终形成的图层均投影到一个坐标系统。

（7）图幅接边

图幅接边的目的是要保持图面数据连续性。工作区有多幅图构成，按上述步骤每幅图分层建立起图层之后，要对各相邻图幅分层进行拼接，图幅的接边精度要满足相应比例尺的国家精度要求。各图层中线图元或面图元拼接后其图元编号要进行改变，在右边图幅中的图元拼接后用左边图幅内的图元编号，下边图幅的图元改用上边图幅的图元编号。其属性数据也要合并为一个，属性数据结构不相同的图元（线或面）不能进行图幅拼接。对于一些图面标注的内容也要做相应的调整。到现在为止，已完成了图形库的建立工作。拼接完成后，仍按图幅分开储存与管理。

（8）数据入库

前面数据处理的目的都是为了使图形进入GIS数据库系统中，以作为其他应用系统的数据基础。图形数据将采用空间数据管理方式、利用系统软件将所有图形及属性统一存放于Oracle之中。

（9）图件输出与图面整饰

在每一图幅数字化完成后，或工作区各图幅分层拼接之后，要对图面标注内容逐一添加到图面上。按有关图例符号标准和用色标准对相应点、线、面图元的线型、符号、颜色进行设置定义。再就图名、图例、比例尺及其图面内容整饰后，输出图件成果。

（10）数据质量控制

检查内容包括数据完整性、逻辑一致性、位置精度、属性精度、接边精度、现势性等是否符合国家标准及有关技术规定。专题图形数据库建设质量控制的方案如下：

建立数据采集标准规范，详细阐述不同要素的采集要求，作为数据采集的根本基准，统一采集认识。

进行数据采集人员培训，熟练使用采集软硬件，掌握采集规范，采集过程中填写详细的图例簿，统一图例簿格式，记录每幅图数据生产过程的基本情况，特别是作业时遇到的问题及处理意见，质量情况等。

数据质量控制采用分级分层管理方式，首先，数据生产 *** 作人员在数据采集过程中严格遵守数据采集规范标准，采集后进行数据的第一次检查；其次，数据库集成人员进行第二次数据质量检查；最后，系统总工随机抽样检查。

检查方式多种多样，这里主要采用以下3种：屏幕视觉检查，打印出图检查，查错软件检查。

以上就是关于教你轻松掌握数据仓库的规划和构建策略全部的内容，包括:教你轻松掌握数据仓库的规划和构建策略、分等数据库建立、基础数据库等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！