大数据下的地质资料信息存储架构设计

颉贵琴 胡晓琴

(甘肃省国土资源信息中心)

摘要 为推进我国地质资料信息服务集群化产业化工作，更大更好地发挥地质资料信息的价值，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。

关键词 大数据 地质资料 存储 NoSQL 双数据库

0 引言

新中国成立60多年来，我国形成了海量的地质资料信息，为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题，使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力，充分发挥地质资料信息的服务功能，扩大服务领域，国土资源部根据国内外地质工作的先进经验，做出了全面推进地质资料信息服务集群化产业化工作的部署。

目前，全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理，并对其中重要地质资料进行数字化和存储工作。然而，由于我国地质资源丰富，经过几十年的积累，已经形成了海量的地质资料，数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中，随着共享数据量的不断增大，传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题，需要设计更加先进的数据存储架构来实现海量地质资料的存储。

而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据，科技工作者在不断的研究中，设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，提出一种海量地质资料存储架构，改进现有系统存储架构，以便于我国全面推进地质资料信息服务集群化产业化工作。

1 工作现状

11 国内外地质资料信息的存储现状

在美国，主要有两大地质资料公共服务平台，分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS)，其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初，澳大利亚出台了国家地球科学填图协议，采用先进的科学方法和技术进行数据存储，从而形成了第二代澳大利亚陆地地质图。

目前，我国地质资料信息服务集群化产业化工作刚刚起步，虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台，并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致，因此各地方所使用的存储系统也不尽相同，主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展，同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而，该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题，也没有给出明确的解决方案。

12 大数据的存储架构介绍

大数据是近年在云计算领域中出现的一种新型数据，具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持，转而采用灵活的、分布式的数据存储方式管理数据，从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念，以键值对进行存储，采用的数据字的结构不固定，每一个元组可以有不一样的字段，且每个元组可以根据自己的需要增加一些自己的键值对，可以减少一些检索时间和存储空间。目前，应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大数据下的地质资料信息存储架构设计

根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署，国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台，实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。

为了与现有系统和现有的工作进行对接，并为将来地质资料进入大数据时代后的存储工作做准备，本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。

整个系统可以根据不同的用户等级分为不同的用户管理层，由于图幅限制，在图1 中仅仅展示了3级：国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。

每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器；甘肃省国土资源信息中心可以单独管理一个服务器，陕西省国土资源信息中心可以单独管理一个服务器；甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。

在服务器上分别安装两套数据库管理系统，一套是原有的MySQL数据库管理系统，另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件，用于进行用户层和数据库的通信以及两套数据库之间的通信。

由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时，他所影响的数据库仅仅是本地数据库，存储效率较高；当用户需要从多个数据库读取数据时，顶层的共享服务平台会根据用户需求进行任务分解，将任务分发给下层的管理层进行数据库读取，由于各个数据库并行读取，从而提高了数据库读取效率。

图1 大数据下的地质资料信息存储架构框图

21 用户管理层

用户管理层根据权限范围，分为多层(本文以3层为例)。

位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。

用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。

与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料，还要存储注册用户信息等数据。

下级管理层任务分配是指如果用户需要访问多个下层数据库，用户只需要输入查询这几个下层数据库的命令，而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图，则用户只需要输入这几个地方及铁矿等查询条件，系统将自动把各个省的数据库查询任务分派到下级管理层。

同理，位于下层的省级管理层和市级管理层除了没有用户访问权限功能外，其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。

22 MySQL和NoSQL的融合

MySQL是关系型数据库，它支持SQL查询语言，而NoSQL是非关系型数据库，它不支持SQL查询语言。用户要想透明地访问这两套数据库，必须要设计数据库管理器中间件，作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。

图2 数据库管理器模型

服务器管理器通过用户程序接口与应用程序进行通讯，通过MySQL数据库接口与MySQL服务器通讯，通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后，交由数据库访问命令解析器进行命令解析，从而形成MySQL访问命令或者NoSQL访问命令，通过相应的数据库接口访问数据库；数据库返回访问结果后经过汇总，由应用程序接口返回给应用程序。

两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中，从而便于系统的升级和优化。

23 系统的存储和检索模式

在本存储框架设计中，系统采用分布式网络存储模式，即采用可扩展的存储结构，利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力，提高了系统的可靠性和可用性，还易于进行系统扩展。另外，由于地质资料信息存储的特殊性，各地方用户的数据存储工作基本都是在本地服务器进行，很少通过网络进行远程存储，所以数据存储效率较高。

在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统，分别用于存储地质资料信息中的结构化数据和非结构化数据。其中，NoSQL型数据库作为主数据库，用于存储一部分结构化数据和全部的非结构化数据；而MySQL数据库作为辅助数据库，用于存储一部分结构化的数据，以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储，因此系统具有很好的适应性和灵活性。

24 安全性设计

地质资料信息是国家的机密，地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后，地质资料常常在计算机以及网络上进行传输，地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。

数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能，以保障地质信息在数据库中的存储安全；当用户登录系统访问数据库时，必须进行用户甄别和实名认证，这主要是对用户的身份进行有效的识别，防止非法用户访问数据库；在对地质资料进行网络传输时，应该首先将数据进行加密，然后再进行网络传输，以防止地质信息在传输过程中被窃取。

3 结语

提高地质资料数字化信息化水平，是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建，具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。

参考文献

[1]吴金朋一种大数据存储模型的研究与应用[D]北京：北京邮电大学计算机学院，2012

[2]吴广君，王树鹏，陈明，等海量结构化数据存储检索系统[J]计算机研究与发展，2012，49(Suppl)：1～5

[3]黄 ，易晓东，李姗姗，等面向高性能计算机的海量数据处理平台实现与评测[J]计算机研究与发展，2012，49(Suppl)：357～361

最高可达到数百TB的容量。存储服务器是指为特定目标而设计，因此配置方式也不同。它可能是拥有一点额外的存储，也可能拥有很大的存储空间的服务器。设计院存储服务器容量最高可达到数百TB的容量。存储服务器通常是独立的单元。有的时候它们会被设计成4U机架式。或者，它们也可以由两个箱子组成——一个存储单元以及一个位于附近的服务器。

一种用于存储、保护、管理和访问数字数据和文件的服务器称为存储服务器。它支持通过共享网络或互联网存储和访问少量和大量数据。存储服务器不如标准服务器强大。在电力不足的地方，它弥补了更多的存储空间、存储访问接口和专门的数据管理和检索实用程序。它构成了直接附加存储（DAS）、网络附加存储（NAS）等存储网络技术的核心。存储服务器也称为文件服务器。此类服务器的主要用途是存储计算机文件，如照片、波形文件、等。在连接到公共网络的计算机之间。文件服务器不为客户端执行计算任务或运行程序。服务器是围绕客户端-服务器方案设计的，其中客户端是使用存储的工作站。
存储服务器类型
有两种类型的存储服务器：专用服务器和非专用服务器。专用服务器专门用作文件服务器，带有专门用于读取和写入文件和数据库的工作站。数据文件的存储是通过形成磁盘阵列来实现的。该技术旨在将多个磁盘驱动器作为一个单元一起运行。磁盘阵列具有缓存（比磁盘更快）以及高级存储可视化和 RAID。使用的磁盘阵列类型取决于存储网络。
一旦机器被配置并在网络上公开，用户就可以通过“映射”他们计算机上的驱动器来开始访问存储服务器上的可用存储空间。映射后，计算机的 *** 作系统将存储服务器识别为附加驱动器。如果网络配置正确，所有计算机都将被授予直接从服务器创建、修改和执行文件的权限，同时为每台连接的计算机添加额外的共享存储空间。
存储服务器设计
牢记存储空间、访问速度、易于管理、预算、可恢复性和安全性，存储服务器的设计。不断变化的环境增加了新的硬件和技术以取代旧的，同时保持相同的兼容性和可访问性，从而进一步提高了设计的复杂性。供应商采用排队理论模型来管理峰值负载、吞吐量和响应时间。服务器还可以结合动态负载平衡系统方案，用于跨连接硬件的请求分布。
安全
文件服务器通常集成某种形式的系统安全性以限制特定用户或组的文件访问。在大型组织中，安全由目录服务处理，例如 openLDAP、Microsoft 的 Active Directory 或 Novell 的 eDirectory。 这些服务器设计为在分层计算环境中工作，其中用户、应用程序、文件和计算机被视为网络上不同但相关的实体，该网络根据组或用户的凭据授予访问权限。对于小型组织，身份验证直接在服务器上进行。但是，对于较大的组织，目录服务包括许多文件服务器，可能有数百个。
拥有存储服务器的优势
过去，大多数小公司不使用文件服务器，因为它的安装成本很高。相反，他们选择将所有重要文档存储在一个桌面上。这种做法的主要缺点是每次需要重要文档时，只能访问该桌面（您可以想象这种不便）。文件服务器的主要好处是它提供了存储文件的空间，这些空间可供连接到网络的所有计算机使用。当许多人需要访问同一个文件（不需要制作多个副本）时，它很有用。可以监视文件，因为它们都存储在一个位置。文件服务器可实现更好的数据管理，同时提供额外的安全性（存储的信息可以受密码保护）。

数据库服务器依赖于存储服务器的数据，这意味着数据库数据文件被放置在存储服务器上。

数据以记录的形式存储在数据库中；数据库将数据作为文件存储在存储服务器上。

数据库服务器由在局域网和数据库管理系统软件中运行的一台或多台计算机组成，数据库服务器为客户端应用程序提供数据服务。存储服务器是为特定目标设计的，因此配置也不同。它可能是一个稍有额外存储空间的服务器，或者它可能有很多存储空间。

扩展资料：

数据库服务器特征：

1、编程量减少

数据库服务器提供了用于数据 *** 纵的标准接口API（Application Programming Interface，应用程序编程接 口）。

2、数据库安全高

数据库服务器提供监控性能、并发控制等工具。由DBA（Database Administrator，数据库管理员）统一负 责授权访问数据库及网络管理。

3、数据可靠性管理

数据库服务器提供统一的数据库备份/恢复、启动/停止数据库的管理工具。

4、计算机资源利用充分

数据库服务器把数据管理及处理工作从客户机上分离出来，使网络中各计算机资源能灵活分配、各尽其用。

参考资料来源：百度百科-存储服务器

参考资料来源：百度百科-数据库服务器

---