数据库是处理非结构化数据的工具对吗

是的。

非结构化数据的采集是信息进一步处理的基础数据库是非结构数据的工具。

相对于结构化数据(即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据)而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据。

随着机器学习的发展，过去传统的结构化数据分析方法已经不能满足我们的需求了。如何在神经网络中利用非结构化数据是很重要的一点。所以很多研究者致力于将非结构化数据处理成结构化数据的工具开发。将非结构化数据转化为结构化数据有以下几个方法：

1. 传统方法——树

虽然绝大多数数据是非结构化格式的，但是结构化数据普遍存在于各类商业应用软件和系统中，例如产品数据存储，交易日志，ERP和CRM 系统中都存在大量结构化数据，这些结构化数据仍应用着陈旧的数据技术处理，如基于规则的系统，决策树等。这样的方法需要人工进行特征提取， *** 作繁琐且需要耗费大量人力进行数据标签。

非结构化数据，也就是通常使用的杂乱无章的文本数据。非结构化数据通常是不能用结构化数据的常规方法以传统方式进行分析或处理的，所以这也成为AI领域一个常见的难题，要理解非结构化数据通常需要输入整段文字，以识别其潜在的特征，然后查看这些特征是否出现在池中的其他文本中。因此，在处理此类任务时，深度学习以其出色的特征提取能力一骑绝尘，于是所有人都开始想着把神经网络用在结构化数据上——建个全连接层，把每一列的内容作为输入，再有一个确定好的标签，就可以进行训练和推理了。

2. 新型利器——深度学习

需要寻找结构化数据的语义，目前要解决的问题主要有：

①数据清洗。要在结构化数据 AI 应用上有所成果，首先需要解决人工数据清洗和准备的问题，找到极少或者没有人为干预的自动化方法，才能使得这一应用可落地可拓展。

②异构数据。处理结构化数据的其中一大挑战在于，结构化数据可能是异构的，同时组合了不同类型的数据结构，例如文本数据、定类数据、数字甚至图像数据。其次，数据表有可能非常稀疏。想象一个 100 列的表格，每列都有 10 到 1000 个可能值（例如制造商的类型，大小，价格等），行则有几百万行。由于只有一小部分列值的组合有意义，可以想象，这个表格可能的组合空间有多么「空」。

③语义理解。找到这些结构化数据的语义特征。处理结构化数据并不仅仅依赖于数据本身的特征 (稀疏，异构，丰富的语义和领域知识），数据表集合 (列名，字段类型，域和各种完整性约束等）可以解码各数据块之间的语义和可能存在的交互的重要信息。也就是说，存储在数据库表中的信息具有强大的底层结构，而现有的语言模型（例如 BERT）仅受过训练以编码自由格式的文本。

3. 结构化数据清洗

除了某些特定的需求外，经过预处理之后的结构化数据，应该满足以下特点：

①所有值都是数字–机器学习算法取决于所有数据都是数字；

②非数字值（在类别或文本列中的内容）需要替换为数字标识符；

③标识并清除具有无效值的记录；

④识别并消除了无关的类别；

⑤所有记录都需要使用相同的一致类别。

李燕

(中国石油化工股份有限公司西南油气分公司信息中心档案馆)

摘要 本文针对非结构化数据管理中存在的问题，分析了西南油气田地质档案非结构化数据管理特点，提出了数据采集、数据存储、数据管理与数据利用的技术架构，并对非结构化数据的管理、应用进行了深刻剖析，总结出了以技术解决方案、行政管理模式和数据服务三位一体的管理模式，为油田地质档案中非结构化数据的管理与应用探索出了一个有效的模式。

关键词 非结构化 数据存储 地质档案 应用 管理

0 引言

随着我国经济建设的不断发展，信息资源越来越成为企业或者组织的核心和命脉。对于信息密集型的石油行业来说尤其如此。在多年的生产实践中，国内的石油行业已经发展出了针对大部分信息的数据综合管理、数据应用、企业标准和行业标准等技术和成果，极大地支撑了石油勘探开发的各个过程。然而，和国外的石油公司相比，在信息资源的协同、分析、挖掘、共享、决策支持、集群计算上还存在一定的差距，这其中的核心要点就是如何对非结构化数据进行有效的存储和利用。

对于典型的石油工业企业来说，信息资源存在于各种载体中，例如纸质的书籍或者论文、PDF文档、图形图像文件、扫描件、电子书、光盘等，这些信息最终都可以转化为非结构化数据。而对非结构化信息的管理需要面对如下问题：

高容量：非结构化数据通常是一个或多个文档、图件、多媒体等，容量在百兆、千兆级的比比皆是。

异构化：非结构化数据的来源、格式、载体都各不相同，难以进行统一的管理和检索。

复杂性：非结构化数据因其高容量、异构的特点，在存储、检索、过滤、提取、分析和挖掘方面非常复杂。

再处理：非结构化数据在定制、交换、加密方面存在大量的个性化需求，格式的差异和多样性也导致了对这些数据的再处理非常困难。

本文即是对这些问题进行详细的讨论和研究，结合油气田地质档案非构化数据的存储与利用，探讨一种可行的方法和合理的解决方案。

1 非结构化数据管理的技术架构

非结构化数据与结构化数据相对，系指不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音/视频信息等。

西南油气田通过配置和集成软硬件产品，设计并实施了适合非结构化数据存储与利用的技术架构，由低到高分别是数据采集(预处理)、数据存储、数据管理、数据使用(图1)。

图1 非结构化数据存储与利用的技术架构图

数据采集是非结构化数据管理最基础的过程，是把原始的或者第一手的资料转化成可供处理的数字化信息的关键步骤。

非结构化数据存储是把勘探科研、生产、管理中产生的文档、图件、专著存放在数据库或者文件服务器上。一般采用两种方式：一是把非结构化数据转换成二进制流，存放在关系型数据库中，同时一并记录相关的辅助信息(可自定义)；二是把非结构化数据保存到目录服务器上，在关系数据库中只记录目录服务器上的索引信息和辅助信息(可自定义)。图2示意了这两种方式。

图2 非结构化数据存储示意图

数据管理是对已经存储成功并且经过了结构化的信息进行再处理，包括数据的分类、检索、元数据化、标准化、统计和归并。

数据使用是非结构化数据管理的最终目的，信息如果不能交流、共享，那么一个组织产生的信息再多，也不免成为信息孤岛。采用基于.net和Web Service体系架构，为信息的共享和协同提供了技术上的保障。

2 非结构化数据管理应用解析

西南油气田按非结构化数据管理的技术架构开发并组建了西南油气田地质资料管理平台体系，对非结构化数据的管理实现了6大功能：非结构化数据的整理、元数据、基于索引服务器的全文检索、索引编制、任务管理、知识管理(表1)。

表1 中石化西南油气田非结构化数据管理功能统计表

2.1 非结构化数据管理的功能架构

西南油气田地质资料管理平台是一个完全的B/S模式资料管理系统和信息发布系统，其中，地质资料管理系统包括用户管理、机构管理、权限管理、日志管理、数据管理、资料上传、资料整理、资料审核、元数据、资料检索。信息发布系统包括资料借阅、资料上传、在线浏览、资料检索、下载。

除了能够完成资料管理和信息发布的功能外，还依据自身的工作方式，在平台中加入了本企业元素，如：资料属性的自定义、用户功能选择、借阅流程与归档著录一体化流程的植入、上传和下载的压缩与加密、用户与安全方案的自动绑定，新到资料的查询、个性化报表的查询和打印、催还信息的发布等。主要功能架构如图3。

图3 功能架构图

2.2 西南油气田地质资料非结构化数据管理的主要特点

2.2.1 地质资料及文档的包装和结构化

在数据存储方面，采用了基于Web Service数据访问层组件，通过修改设置可以分别连接Oracle 9 i数据库、SQL Server 2000数据库等多种数据库，用户可以根据需要选择。地质资料及文档的包装和结构化是指在数据采集和存储方面采用了“资料体-文件体”的二元封包方式。对所有类型的文件或者文件集合都可以定义为资料体，同时采用元数据对资料体进行描述；从逻辑上来说，资料体是一个或者多个文件实体的集合，通过这种方式，就统一了各类非结构化数据的表现形式、外观和行为，有利于将来的数据交换和协同。图4描述了这种二元关系。

图4 非结构化数据的二元封包方式

2.2.2 任务管理

文档资料被采集并提交，资料体和元数据信息就会被写入关系数据库中(目前支持Oracle)，而文件体会通过任务自动上传到专门的文件服务器中，同时由索引服务自动为这个文件体创建索引。入库文档资料的默认存储方式是通过磁盘文件来存放的，如果需要把入库文档资料以二进制流的形式保存到关系数据库中，则需要部署和配置数据持久化服务。图5对文档资料采集和存储的过程进行了直观的描述。

图5 文档资料采集和存储的任务管理流程

任务管理是对上传下载过程的任务化。为了应对文档资料的采集要求，使用上传任务来管理上传过程，整个过程可以通过服务在后台依次自动完成，对用户的 *** 作不造成任何影响，避免了传统的文件采集过程中用户需要耗费大量的时间来等待上传；为了确保数据的完整性，上传过程支持断点续传。直观的上传任务管理器把需要上传的文档存放在任务队列中，用户可以随时停止或者启动上传任务，最大程度的减少因为网络状况或者容量问题带来的不便。

2.2.3 元数据的定义和描述

在数据采集的过程中可以对文件定义元数据，文件的元数据继承自所属的案卷属性，这样一旦将文件归入某一个资料类别，那么就可以设置这个文件的扩展信息；另一方面，分类的元数据格式能够成为这一类文件的元数据模板，同类文件的元数据格式都是相同的，便于进行同类资料的数据交换。图6说明了案卷(资料类型)、文件和元数据的关系。

元数据作为非结构化数据的标签，其意义是非常重要的，系统的检索功能的查全和查准率主要是基于元数据的定义是否合理和准确，因此系统必须要提供元数据信息的修改和动态扩展功能，只有提供了上述功能，系统的信息描述才可能准确和丰富，这也是很多类似的信息系统所缺乏的。

图6 案卷、文件和元数据的关系

依据中石化企业标准《Q/SH0167—2008石油天然气勘探与开发地质资料立卷归档规则》，根据地质资料管理的特点，结合西南油气田的实际情况，需求分析，明确各种(系统管理、资料加载和在线浏览、资料查询、资料借阅和下载、资料销毁、资料压缩加密、资料审核、资料接收和分发)功能，对地质资料的文件元数据、档案元数据、企业扩展元数据进行了充分研究与定义，实现了不同类别的地质资料定义不同属性，方便查询与借阅。例如表2。

表2 地质资料元数据属性表

2.2.4 基于文件索引服务器的全文检索

对非结构化数据的检索采用了两种方式：基于属性、关键字的精确检索和基于内容的全文检索。全文检索过程采取了提交—建索引—查找—组织结果—返回的过程来完成。非结构化数据被提交到了文件服务器，索引服务程序就创建或者更新索引文件(自动过程)，当用户发出检索请求时，通过搜索引擎，获取包含请求内容的结果并返回给请求者。索引服务程序能够从入库的文档资料中自动抽取文本内容(图7)。

索引服务程序的工作包括：侦测文件目录的变化，文件被上传、移动、修改或者删除，就更新对应的索引；定期对文件目录的整个范围进行索引优化，保障索引在全局上的有效性和效率，这个工作可以自动完成，也可以由用户手动完成。

西南油气田基于此提供多种逻辑查询，如模糊查询、全文查询、精确查询，以及目录浏览和全文浏览。如图8。

图7 全文检索工作过程

图8 查询检索截图

2.3 西南油气田非结构化管理应用效果

西南油气田从2005年开始全面启动地质资料非结构化数据建设，经过多年的共同努力，全面完成了地质资料的非结构化目录数据库建设，共计入库地质资料条目125万条，完成了不同类别地质资料的元素据设计并进行了全面属性提取，提取的内容包括了文件元数据、档案元数据以及企业扩展元数据三大类，为地质资料网络化管理与利用提供了强有力的搜索引擎包。

同时，按照非结构化数据建设理论，西南油气田积极开展了成果地质资料全文数据库与地质图形库的建设，通过历史文档与图形的扫描整理，共计入库电子文档24万个，总容量2.9 T。与油田气地质资料目录数据库相结合，通过地质资料管理系统，实现了地质资料非结构化数据网络完整发布与全面应用。

经统计分析，在实现非结构化数据的网络化管理与应用以后，西南油气田近5年地质资料年平均利用率高达11万件次/年，是建成前的4.5 倍，有效提高了地质档案资料的管理、使用水平，节约了成本，取得了良好的经济效益。

3 非结构化数据的管理模式探索

作为企业信息资源的表现形式，非结构化数据的管理不单单是一个技术体系或者一个系统，而应该是一个庞大的系统工程。笔者根据西南油气田地质档案多年的信息化建设经验和非结构化数据管理经验，认为“技术解决方案、行政管理模式和数据服务”三位一体的管理模式是油气田非结构化数据管理的有效模式(如图9 所示)。

图9 非结构化数据管理模式图

首先，行政管理模式是整个非结构化数据管理的组织保障，由稳定的管理团队、完备的可行性研究、明确的管理需求、充分的风险评估以及务实的组织实施组成。良好的行政管理模式能够确保一个组织上下一心，共同推进信息体系建设，可以说它决定整个体系建设的成败。

数据服务是非结构化数据信息管理的基础。是指对非结构化数据进行采集、创建、加工、传递、组织、整理与规范的过程。同时也是用户和开发者之间的润滑剂，首先它能够按照用户的需求为用户处理大量枯燥的数据整理和规范工作，其次从用户的角度，指出软件的缺陷，并敦促开发者进行修改。通过数据服务，可以有效地保障用户业务的高效运转、技术体系的不断完善，发挥信息体系建设的最大效能。

技术解决方案从产品层面为非结构化数据的管理提供了软硬件平台，是从数据采集到应用的完整的技术体系。包括：基于多种大型关系数据库的信息存储体系、基于内容的非结构化数据的文件服务器、提供全文检索、关联检索的索引服务器、基于元数据的灵活的文件交换格式和个性化定制、灵活的权限策略和强大的安全策略；技术解决方案是非结构化数据存储与利用的核心。

4 结束语

非结构化数据存储和应用是各油田分公司勘探决策支持系统的重要组成部分，这一部分研发成功后，能够为决策支持所需要的信息资源提供基础的平台。同时，基于这个平台之上的非结构化数据的应用能够直接为决策支持系统服务，通过信息协同、文件检索、数据挖掘和知识管理等技术和概念的应用，能够使油气田信息化建设上缩短甚至达到国际先进水平，向着勘探数字化、数据资产化、工作协同化和决策科学化方向迈进一大步，从而带来巨大的经济效益和社会效益。

参考文献

[1]张志刚，姚玮.海量非结构化数据存储问题初探[J].中国档案，2009(8).

[2]吴广君，王树鹏，陈明，李超.海量构化数据存储检索系统[J].计算机研究与发展，2011(7).

---