基于SAN存储的国家级土地调查数据管理与集成系统建设

张定祥 戴建旺 李宪文 何欢乐

（中国土地勘测规划院，北京，100035）

摘要：本文在对国家级土地调查数据管理与集成系统建设项目背景分析的基础上，提出了系统建设的总体目标和任务，全面阐述了系统的总体设计、运行模式、系统功能设计思想，系统地介绍了各子系统的功能模块设计，最后本文对该管理与集成系统的应用进行了展望。

关键词：土地调查；数据集成；SAN （Storage Area Network）；数据仓库

1 项目背景

目前，随着我国土地调查技术水平不断提高，数据的精度和现势性不断加强，数据资源发挥了越来越重要的作用。但是，我国土地调查数据管理方面还存在一些问题。主要表现在：①数据管理手段落后、数据整合集成度差。大量调查监测与评价数据以文件光盘或纸质方式存放，大多数没有建立集成化的空间数据库；土地资源调查监测数据内容不统一，不同时期数据成果的可比性差，难以形成管理和研究分析需要的区域性时间系列数据；土地数据库存在多种比例尺、多种格式等问题。②数据共享应用存在障碍，数据信息挖掘不够。由于多方面的原因，土地调查数据共享渠道还不够通畅，大量数据资源还未纳入管理，数据应用潜力远没有开发。

当前，建立国家级土地调查数据管理与集成系统的意义在于：①有效整合、集成土地资源调查工程数据成果，为工程提供系列化、标准化的展示成果；②为“金土工程”和“全国土地资源二次详查”等新项目提供标准化、集成化数据产品；③加强数据基础建设，并进行数据信息挖掘，形成土地管理科学决策的数据基础，提高土地科技创新能力和土地资源参与国民经济宏观调控的科学性；④挽救土地资源调查历史数据，加快数据共享应用，保护国家在土地调查多年巨额投资成果。鉴于以上考虑，“土地数据存储管理系统”采用现代数据仓库数据集成技术思路，以三个数据库（土地资料库、土地成果库、土地应用库）、数据整合集成工具包、数据分发和对内对外发布等开发为主要内容，将为国土资源大调查——土地调查原始数据管理、成果数据集成、应用数据产品开发、数据分发服务一体化提供集成的网络化管理与共享平台。该系统的建设将大大提高土地调查数据管理和集成信息化水平。

2 系统建设目标

本系统建设目标为：在对国家级土地数据现状和预测分析基础上，设计并建立基于SAN （Storage Area Network）存域网的土地数据管理与集成系统，实现客户端、数据存储中心和业务系统有机衔接，满足海量土地数据的动态存储、管理维护、更新、整合处理、查询检索等功能，实现土地数据的分布式共享和应用；能够实现对国家级土地调查、评价、规划等数据进行整合、编目、集成形成多层次专题数据建库，并加入数据管理系统；在此基础上，构建土地分中心对外服务共享平台，通过专题数据库整合、集成、网上发布，实现土地调查数据社会化共享。

3 总体设计

31 系统总体框架设计

基于SAN存储的国家级土地调查数据管理与集成系统由基础设施、数据和业务应用三层技术体系，安全和整合集成两个技术保障构成，具体的土地数据分中心总体设计架构如图1所示。

图1 土地数据分中心总体设计架构

311 基础设施层

基础设施层是系统建立及日常运行的基本软硬件环境，其中硬件环境构成了分中心的网络环境、存储环境及安全环境，软件环境则包括 *** 作系统、数据库管理系统、GIS软件环境等。

312 数据层

数据层是系统建设的核心部分，该层构成了分中心的数据基础设施。全部数据通过建立统一的土地资料元数据实现集中管理与维护。数据层主要由土地资料数据库、土地成果数据库和土地应用数据库组成，数据库内所有土地资料信息在元数据库中管理维护。

313 业务应用层

业务应用层是分中心的运行层，所有具体的业务人员都在这个基础上实现土地数据分中心的应用。根据应用内容的不同，应用系统包括：土地数据库管理与维护；土地数据库信息检索与查询；土地数据的加工处理与整合；各种土地业务管理应用；国土资源辅助决策支持；科学数据共享服务网站六部分职能。

32 运行模式

国家级土地调查数据管理与集成系统日常运行模式有三种，即分中心内部运行模式、院内部运行模式以及院外部运行模式。分中心内部运行模式的核心是土地资料数据的汇交、存储、管理、元数据库维护、数据整合与整理等。院内部运行模式主要为非专业应用系统的普通土地数据用户则可以通过元数据的检索查询完成土地数据的信息浏览、数据下载、数据转换及数据应用工作；此外院内运行的各类土地专业应用系统通过计算机网络，通过访问、检索元数据库实现土地数据仓库的信息共享，从而达到不同格式的土地数据在不同部门和业务系统间的流通、交换和共享利用的目标。

规划院外运行模式涉及国务院各部委机关、国土资源部机关、相关数据中心及信息中心、各级省级国土资源数据中心、省级规划院系统等不同层次和需求用户。

33 系统功能设计

331 采用基于高性能的 SAN 的网络结构

SAN （Storage Area Network）是当前最先进的网络存储方式，本系统数据存储采用光纤布线的方式为用户提高数据传输的带宽和可靠性数据。系统硬件设备主要包括P650小型机、H16 SAN光纤交换机、FastT600光纤磁盘阵列、3583光纤磁带库、IBM EXP400阵列、IBM X365服务器及IBM X445服务器等IBM的设备、SUN的Blade2500图形工作站及Cisco的网络交换机（数据存储结构见图2）。

图2 数据存储结构图

332 高可扩展性存储设计

从存储容量来看，目前IBM FastT600磁盘阵列可以提供2 T的存储空间，最大可以扩展到16 T的存储容量。IBM 3583－L36光纤磁带库内有36个磁带的舱位，配置了4个磁带驱动器和40盘200 GB的磁带，正常情况下可以存储8 TB的数据，压缩的状态下可存储16 TB的数据。3583磁带库驱动器可以再增加2个，磁带的舱位可以增加到72个。离线磁带的数量理论上是没有限制的，只需更换新的磁带就可以了。

333 基于数据仓库设计思想的数据存储管理系统

针对国家级土地调查数据多源异构情况复杂而应用目标不十分明确的矛盾，借鉴数据仓库技术思想，设计了数据存储管理系统中土地数据整合集成技术流程。其核心思想在于国家级土地数据通过数据集成工具逐步形成土地资料库、土地成果库、专题产品库等系列产品。系统土地数据整合集成技术体系在以下方面：①外部历史数据进入资料库的元数据录入和数据入库规范，主要由人工处理和系统自动完成；②数据从资料库进入成果库之前的数据转换、抽取、重组、建模、综合和集成过程，主要由系统提供工具软件或数据接口人工 *** 作完成；③成果数据进入应用库之前的数据裁减、融合、接边、格式转换等数据集成过程，以及数据成果库数据挖掘、决策分析功能，此部分主要通过Arc/Engine开发工具的模块和利用Oracle相应的数据挖掘功能实现。

4 功能模块设计

41 资料库管理子系统

土地资料库系统通过建立数据的管理元数据、数据命名、数据目录规范入库、构建资料库，实现基于元数据的检索、数据查询、数据预览等功能。土地数据资料进入资料库系统是数据资料的初步整合过程，纸质资料和电子数据进行分类管理，纸质资料只录入编目系统，资料本身不进入数据目录管理系统。电子数据纳入文件目录管理范畴，需要进行元数据录入和文件重命名和数据入库等过程。数据资料整合管理过程主要包括：数据内容选择、元数据录入、文件进入资料库文件目录系统（目录资料不入库）、文件的规范命名、元数据检查修改、元数据查询浏览、数据分发和发布等过程。

土地资料库管理子系统由数据库、管理和维护应用系统、土地数据对外服务系统构成。具体包括：①数据库。根据数据层次的不同，土地资料库管理子系统中含有经过重新目录组织和文件命名的土地资料数据和体现数据目录信息及其他内容的元数据。②数据管理维护系统。针对土地资料数据库、元数据库分别由土地资料管理维护系统、元数据管理维护系统提供相应数据内容的入库、检索、利用、存取控制、备份、恢复等。③土地数据对外服务与数据分发系统。土地数据对外服务系统基于互联网，向社会公众提供元数据、土地资料数据的浏览、查询、下载等土地数据服务。

42 成果库管理子系统

在数据库结构预先构建前提下，在经过数据整合和成果提取过程之后，成果数据存储在Oracle Spatial中，数据管理工作包括空间数据本地浏览、数据内容维护和数据库结构维护。具体包括以下几个方面。

421 成果数据管理

成果最小的组织单位是县，然后确定一个县的土地专题，如县级土地利用、县级动态监测等，系统建库标准参考相关国家建库标准。成果数据的体现按照树型来组织，第一级是成果主题，然后根据成果组织的类型分为分幅和行政区两种方式。分幅方式主要是根据标准比例尺将全国区域分为相应数量的逻辑尺寸，数据的组织采用这两种方式相结合，主要是因为目前有很多已有土地数据成果，本身就是采用分幅来汇交数据，在不改变原有数据的数据范围下就可以完成数据的拼接。另一方面，一般显示数据采用行政区省—市—县逐级索引的，便于数据检索。

（1）成果分幅管理 标准百万分幅、标准50 万分幅、标准25 万分幅、标准10 万分幅、标准5万分幅、标准25万分幅、标准1万分幅。

（2）成果行政区管理 省级索引图、市级索引图、县级实际成果数据 （图3）。

图3a 百万分幅索引图

图3b 全国省界索引图

图3c 广东省界索引图

图3d 县级土地利用专题数据

422 成果空间数据浏览

此功能模块主要用来实现对存储在Oracle Spatial中的成果数据进行预览，主要包括如下空间图形 *** 作功能。放大、缩小、漫游、全图、查阅属性数据、查阅元数据。

423 成果整合管理

成果库的建立是通过整合工具将目标数据整合而成。成果的整合管理主要是指将数据整合到成果库的过程管理，系统提供整合入库向导辅助完成这个整合过程。整合过程包括如下步骤：①选择成果目标库；②查询选择整合数据源；③确定数据源与目标库（数据表）的对应关系，系统支持多种格式的数据源，包括Arcgis shape，Arcgis coverage，Map-gis，VCT 多种国内外主流 GIS 平台数据格式；④确定数据源属性表与成果库数据字段的对应关系；⑤确定数据源元数据与成果库元数据的对应关系；⑥调用数据整合工具完成目标数据源向成果库的整合。

424 成果建库管理

成果库包括两个部分，一个是核心库，包括分幅信息、行政区索引信息、成果元数据、县级标准主题库；另一个部分是成果扩展库，主要为了实现系统的兼容性和用户自定义。

由于成果核心数据库结构是预先生成，在系统正常运行阶段不提供用户接口进行调整，可提供根据预先生成的数据库脚本重新创建数据库框架；在不影响资料库数据整合入库和数据发布的情况下，通过和开发人员共同合作实现对数据库的调整。对于成果扩展库，系统提供建库向导辅助用户完成自定义扩展。扩建库建立向导主要完成如下功能：①定义扩展数据库、数据表结构；②确定扩展数据库、数据表与核心库关系；③定义数据获取与更新机制。

43 应用库管理子系统

数据的最终目的很大程度上是为了应用于专题中作为数据存储系统的重要功能，要求实现根据专题用户输入应用要求，实现数据提取。完成专题产品的来源可以来自于资料库和成果库，由于各种专题的要求并不一致，因此需要具有通用性且功能强大的通用工具，以便实现专题数据产品的生成。

44 数据发布管理子系统

土地数据管理模式采用土地数据存域网和土地数据中心对外发布平台的有机集成管理模式。中国土地勘测规划院内部土地数据管理由对内发布服务系统实现，社会共享数据和信息管理通过土地数据中心对外发布平台实现。土地数据资源要求可以被授权用户使用，使用方式将改变以前通过文件复制的方式，而采用更加方便而且安全有效的方式，即通过信息发布——用户下载的方式来实现。具体功能包括：①数据查询；②数据分发申请登记；③数据分发申请审核；④数据分发授权；⑤数据下载服务；⑥数据下载备案。

图4 数据产品下载申请登记

图5 数据分发审核管理

45 数据整合环境与集成工具包

数据整合处理环境由多个数据提取工具构成。利用数据模型构建工具，面向土地专题应用，构建相应的数据仓库框架，逐步扩充土地专题业务应用数据库所涵盖的土地分析专题；通过开发面向特定土地成果数据库或土地专题应用的整合特定数据源数据的数据提取工具，逐步充实数据整合处理环境的数据提取工具；通过运行数据提取工具，逐步充实土地成果数据库和土地专题数据仓库的内容。编写数据提取工具，从各土地资料数据库抽取数据到土地成果数据库中，由土地成果数据抽取数据到土地专题应用数据库中。

基于 ESRI Arc/Engine 组件工具，开发服务于“土地数据整合处理”的各种通用 GIS工具组件备用，同时开发具有友好图形用户界面，实现基于“土地资料库”或“土地成果数据库”及其元数据库提取特定专题应用产品数据库的流程管理的专题产品数据库提取与维护管理系统。考虑到数据产品数据库创建的复杂性，在系统实现过程中，只实现可自动化进行的流程的管理，对于无法自动化的过程，系统给出信息提示，实施手工处理。

图6a 数据整合处理环境提取工具

图6b 通用集成 GIS 工具组件

5 应用展望

当前，加快土地调查评价数据集成既是深化大调查成果的需要，也是国家土地管理新形势对土地资源调查监测数据集成提出的新要求。充分发挥土地调查评价数据的基础性作用，促进国家科技数据资源共享也必须对土地数据进行整合集成。如何对多年来取得的国家级土地调查评价数据，特别是大调查数据进行有效集成和管理，并为国家土地管理宏观决策提供快速、准确的信息服务是国家级土地调查评价数据集成面临的首要问题。基于 SAN 存储的国家级土地调查数据管理与集成系统，首次将土地数据仓库技术思想应用于土地数据管理系统建设中，提出资料库、成品库、应用库三库一体的数据仓库解决方案，对不同处理级别数据分级存储，为土地数据挖掘提供可能，也为不同应用目的数据集成提供实现有效途径。通过该系统建设将能够实现土地数据管理、土地数据处理和信息发布网络化，大大提高信息化建设水平。目前本系统已经初步建成，并处于试运行阶段，正利用本数据管理集成系统平台进行全国城市土地利用动态遥感监测数据、1∶1 万土地利用建库、土地详查1∶5 万县级土地利用栅格数据等土地调查监测数据的整合集成工作。目前已经完成2004年度全国土地利用动态遥感监测成果数据、“数字国土”工程1∶1 万土地利用建库200 多个县区、土地详查1∶5 万县级土地利用栅格数据全部数据（2000 多个县）的整合入库和元数据录入，并可实现对元数据和数据的管理。系统建设已经初见成效，实现了土地调查数据科学有效管理、避免重复投资，为国家宝贵的数据资源科学管理、有效集成和共享应用打下了坚实基础。可以预见，本系统平台将在国土资源大调查——土地资源调查数据整合集成发挥重要作用。当然由于受人员、时间，特别是水平等各方面条件的限制，本系统还需要在国家级土地调查监测的数据整合集成实践中不断地完善、提高。

一、质量保证控制体系

在数据库建设过程中，各工作单位和计划项目综合组均制定了相应的质量保证体系和措施，从资料的来源、整理录入、检查汇总层层严格控制。质量保证控制体系内容包括：质量保证组织体系和质量保证制度体系，组织体系和制度体系又由承担单位和计划单位综合项目组两套体系组成。承担单位按照本单位全面质量管理制度和办法建立了以全面质量管理办公室、项目组和工作组为核心的质量保证组织体系以及完整的质量管理制度体系。以计划单位为核心的综合项目组的质量保证组织体系是由计划项目负责人、工作项目负责人和工作组构成。建立了三级质量检查监控体系：一是数据库工作人员的自检和互检；二是承担单位项目组组织的质量抽检；三是计划项目综合组组织的阶段性质量抽检和验收。在各级检查过程中，对发现的问题都做了详细的记录，并进行了认真修改，保证了录入资料的准确性。

二、质量保证措施

（一）属性数据的质量保证措施

属性数据就是要真实地反映原始资料，质量保证措施最主要的就是质量检查、核对，形成录入→检查→修改→补充→汇总五个步骤的工作流程。每一项内容录入完成以后，录入人员必须将录入数据与原始数据进行校对，自检率为100%，发现问题及时解决之后，再开始下一项数据的录入。工作每告一段落，要进行互检，互检率也是100%；同时承担单位项目组进行质量抽检，抽检率为30%～50%；计划项目综合组的阶段性质量抽检和验收，抽检率为20%～30%。数据库工作人员平时工作有记录，每次检查有记载，发现的问题修改情况也有记录，做到出问题有据可查，责任有人承担，确保数据录入的准确和可靠。同时，还制定了安全防范措施，即防计算机病毒破坏、防数据库数据误删除、防蓄意破坏。

（二）图形数据的质量保证措施

1地理底图质量保证措施

本次使用的数字地理底图是国家测绘局1∶25万地理要素图，利用Map GIS的裁剪功能以松嫩平原界线为范围边界裁剪而成，图层要素有外图廓、经纬网、境界线、水系、公路、铁路、等高线、高程点等，并依据2005年11月中国地质调查局颁发的《1∶25万地理底图编辑要求》和水环所提供的图库进行了修编。原地理底图自带图库与水环所提供的图库有很大差别，都按图层及图元参数一一替换图案号及更改参数，保证了更换图库前后地理底图所示内容的一致性。

2成果图件数字化质量保证措施

成果图件均由编图人员在喷绘的地理底图上绘制，然后采用300 dpi以上的分辨率进行扫描，提高了栅格文件的清晰度，减小了误差；制图人员利用Map GIS将图像配准到已矢量、修编好的地理底图上，所有经纬网交叉点都作为控制点采集对象，保证了图像配准的精度；矢量过程中窗口放大到40倍，鼠标跟踪输入；各类成果图件中松嫩平原边界在空间上严格重合，在面元建立拓扑时，不能作结点平差，分区线元与边界相交处分区线元用延长靠近母线、母线加点功能，在此基础上建立拓扑关系形成面元，保证了公共边界线元空间拓扑的一致性；对不同成果图件有相同要素的，要将其单独提取图层，根据图件要求予以增加，保证了不同图件中相同内容的一致性。通过上述工作方法，使图件数字化质量得到有效的控制。

矢量化后，喷出彩图检查图元信息，图元信息检查是保证图形数据质量的关键，这项检查工作以自检为主，检查都在两遍以上。图形属性数据通过MAPGIS属性管理系统输入完成，其属性字段按照《地下水资源调查评价数据库标准》要求填写。

3提高数据库工作人员的质量意识

人是保证质量的主动因素，提高数据库工作人员的质量意识是保证数据库质量的重要措施，因此在数据库建设过程中，无论是承担单位，还是综合项目综合组都开展了提高质量意识的重要性教育，使每一个工作人员在思想上重视数据库质量，在行动上保证数据库质量。

以上就是关于基于SAN存储的国家级土地调查数据管理与集成系统建设全部的内容，包括:基于SAN存储的国家级土地调查数据管理与集成系统建设、数据库的质量控制、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！