浅谈基于语义网的知识管理

摘 要 随着知识型企业的出现，知识己逐渐成为企业首要的生产要素。企业如何通过对知识实施有效管理来效益最大化，增强竞争能力，已经引起人们的普遍重视。本文从知识管理目前存在的问题出发，提出了语义网相关技术在知识管理中的作用，给出基于语义网的知识管理方法。

关键词 语义Web；知识管理；信息查询

在人类社会进入新世纪的同时，人类也进入了一个全新的时代——知识经济时代。随着知识型企业的出现，知识逐渐成为首要的生产要素。企业如何通过对知识实施有效管理来效益最大化，增强竞争能力，已经引起人们的普遍重视。企业知识管理已成为当今管理学界和企业管理者们最为关注的课题之一。

1 知识管理

11 知识管理的出现

所谓“知识经济”，就是“以知识为基础的经济”，这个术语来自于对知识和技术在经济增长中所起作用的充分了解，体现了人力资本和技术中的知识是经济发展的核心，强调了知识作为一种资源在新的经济社会形态中所具有的基础特征。就企业管理来讲，知识管理的影响主要有四个方面：

(1)经济全球化给组织(企业)产生了巨大压力。

(2)知识密集型产业成为现代经济增长的主导力量。对传统产业来说“知识化”将是其维持现有地位或实现创新的惟一出路。

(3)知识作为一种独立的生产要素在各种要素投入中占据主导地位，与此相应地“知识工人”在企业中的地位不断强化。

(4)信息技术的飞速发展和信息基础设施的极大改善为组织运作提供了与工业化时代在本质上不同的基本环境。

在上述背景下，管理学家和企业管理者们日益认识到，知识及其学习代表着企业(组织)竞争优势的重要源泉，“企业知识管理”便由此应运而生。

12 目前存在的问题

在互连网上有数以百亿计的文档被超过上亿的用户使用，这些文档中有很多是在企业或组织内部的Intranet上。随着网络的不断发展，这些为企业服务的文档会越来越多地出现在网络上，所以我们有理由相信未来企业对于信息和知识的管理都会偏向于网络。但是目前基于网络知识管理系统都存在着明显的不足：

1) 信息检索

目前的信息检索方式主要是基于关键词的检索而并非语义。显然这种方式缺点在于它并不能处理同义词。造成这种结果的原因是传统的基于关键词的检索只关注检索与数据存储之间的关系。这种检索是不涉及词汇的语义的。

2) 信息的集成

目前对于网络上的信息集成主要靠人工处理。存在这个问题的主要原因是目前的自动代理软件不能处理文本代表的常识知识，并且它们不能处理分布式的资源。

3) 维护半结构化文件

目前组织的很多文档都是半结构化的，但维护这种信息的准确和一致是一件既困难又费时的`工作，所以我们需要有某种自动化的机制帮助我们自动监测错误。

13 语义Web在知识管理中的应用

以前对于信息集成的研究主要集中在如何整合不同的数据库和知识库，这些数据库和知识库都是结构化的，所以这些集成方法并不能很好的适应目前互联网上的半结构化数据，我们需要的知识管理工具必要整合分布在网上的半结构化的信息资源。

语义Web是对当前互连网的扩展。语义Web上的信息具良好的含义，使计算机之间以及人类能够更好的协同合作。语义Web有这样的定义：机器可以理解数据含义的下一代互连网，称之为语义Web。语义Web的目的就在于把互联网变成一个巨大的知识库，这个知识库不仅可以被人理解而且还可以被机器理解。如果它实现的话，我们可以想象这样的互联网将会怎样影响我们的生活。

2 相关技术

21 传统的知识表示方法

所谓知识的表示实际上就是对知识的一种描述，或者说是一组约定，一种计算机可以接受的用于描述知识的数据结构。对知识进行表示的过程就是把知识编码成某种数据结构的过程。知识的表示方法多种多样，主要有：①一阶谓词逻辑表示法；②产生式表示法；③框表示法；④语义网络表示法；⑤脚本表示法；⑥过程表示法；⑦Petri网表示法；⑧面向对象表示法等。

对同一知识的表示可以用多种方法，但各自的效果却不相同。因此我们常把几种表示形式并用，以取得优势互补的效果。例如一阶谓词、产生式规则、框架和语义网络等己经应用于知识管理系统的开发中。随着面向对象技术的发展，面向对象的知识表示方法也被应用于知识管理系统的设计之中。

22 语义Web的框架

姆·伯纳斯·李(TimBerners-Lee)一直致力于语义Web技术的研究，并一直关注语义Web技术的发展，在综合了语义Web研究领域的最新成果的基础上，提出了语义Web模型。这一模型得到了语义Web研究者的认同，图1就是伯纳斯·李提出的语义Web分层结构图。图1中，XML层作为语法层；RDF(Resource Description Framework)层作为数据层；本体层(Onto1ogy Layer)作为语义层；逻辑层(Logic Layer)提供了智能推理的规则；证据层(Proof Layer)支持代理间通讯的证据交换。

RDF是Resource Description Framework(资源描述框架)的缩写，提供了用于描述元数据，特别是Web元数据的技术。而RDF Schema(简称RDFS)则是用来定义描述所用到的“主语”、“谓词”、“宾语”的。这里可以用面向对象的思想来类比它们之间的关系。如果说RDF是用来完成实际工作的对象，那么RDF Schema就是用来定义对象的类。

RDF通过三元组的方式来描述资源，包括“主语”，“谓词”，“宾语”。描述三元组有很多方式，其中最重要的是以XML方式。以XML方式描述的好处就在于，这种方式不仅可以使人理解，而且可以使机器自动处理，更重要的是它可以在网络上自由的交互。

RDFS定义RDF词汇采用一种类似于面向对象的机制，也就是说我们需要定义的类都是预先定义的rdfs：Resource的子类，也可以是某个我们已经定义好的某个类的子类。这样做的好处就是任何人都可以利用现有的词汇来定义新词汇，从而大大节省工作量，并成为一种面向对象中重用思想的体现。

24 Ontology和OWL

Ontology的概念最初起源于哲学领域，可以追溯到公元前古希腊哲学家亚里士多德它在哲学中的定义为“对世界上客观存在物的系统地描述，即存在论”，是客观存在的一个系统的解释或说明，关心的是客观现实的抽象本质。近年来，计算机界关于本体论研究的成果数量正逐步增多，质量也逐渐提高。并且在1998年6月召开了关于本体论的第一次国际会议— “信息系统中的形式化本体论国际会议”，标志着这一研究领域正在走向繁荣和成熟。

语义网是对未来网络的一个设想，在这样的网络中，信息都被赋予了明确的含义，机器能够自动地处理和集成网上可用的信息。语义网使用XML来定义定制的标签格式以及用RDF的灵活性来表达数据，下一步需要的就是一种Ontology的网络语言(比如OWL)来描述网络文档中的术语的明确含义和它们之间的关系。

知识抽取任务定义和相关比赛

纯文本数据中的知识抽取就是NLP（自然语言处理）

知识抽取的子任务：

命名实体识别：检测、分类

术语抽取：从语料中发现多个单词组成的相关术语

关系抽取

事件抽取

共指消解

相关的竞赛及数据集

1Message Understanding Conference（MUC）

命名实体识别（Named Entity Recognition,NER）、共指消解（Co-reference Resolution,CR）

2Automatic Content Extraction（ACE）

对MUC定义的任务进行了融合、分类和细化；主要分为五大任务，包含英语，阿拉伯语和汉语

实体检测与识别（Entity Detection And Recognition,EDR）

数值检测与识别（Value Detection And Recognition,VAL）

时间表达检测与识别（TERN）

关系检测与识别（RDR）

事件检测与识别（VDR）

3TAC Knowledge Base Population(KBP)

KBP对ACE定义的任务进一步修订，适合现代知识抽取的需求主要分为四个独立任务和一个整合任务

实体发现与链接（EDL）、槽填充（SF）、事件抽取（Event）、信念和情感（BeSt）、端到端冷启动知识构建

4Semantic Evaluation(SemEval)

实体抽取

任务定义：抽取文本中的元子信息元素。实体识别可以变成一个序列标注的问题。

序列标注方法：人工特征（词本身的特征、前后缀特征、字本身的特征）

序列标注使用的模型：HMM（隐马尔可夫模型）、CRF（条件随机场）、LSTM+CRF

实现实体链接的一些开源工具：wikipediaminer、DBpediaspotlight、opencalais

关系抽取

从文本中抽取出两个或者多个实体之间的语义关系

关系抽取的方法分类：

1基于模板的方法

基于触发词的Pattern、基于依存句法分析的Pattern

2监督学习方法

机器学习方法、深度学习方法

机器学习方法的特征设计：

深度学习方法特征设计：

监督学习的深度学习方法：

1)Pipeline

识别实体和关系分类是完全分离的两个过程，不会相互影响，关系的识别依赖于实体识别的效果

Pipeline方法-CR-CNN模型：仅使用词向量和位置向量作为输入，F1值841，超过目前最好的非深度学习方法。

Pipeline方法-Att-CNN模型：应用注意力机制，目前最好的方法。（F1值880）

Pipeline方法-Att-BLSTM模型：

2)Joint Model

实体识别和关系分类的过程是共同优化的。

Joint Model-LSTM-RNNs模型：

3弱监督学习方法

远程监督、Bootstrapping

远程监督方法：知识库与非结构化文本对齐来自动构建大量训练数据，减少模型对人工标注数据的依赖，增强模型跨领域适应能力

Bootstrapping：通过在文本中匹配实体对和表达关系短语模式，寻找和发现新的潜在关系三元组

事件抽取

事件抽取任务

二、面向结构化数据的知识抽取

Mapping languages:

直接映射（direct mapping）

R2RML:RDF中关系数据库的标准转换

映射工具ontop:是一个使用SPARQL将数据库查询为虚拟RDF图的平台

三、面向半结构化数据的知识抽取

DBpedia：维基百科的结构化版本

ZHISHIme:第一份中文大规模开放链接数据

访问ZHISHIme的方式：Linked data、Lookup service、SPARQL endpoint、APIs、Data Dump

WEB网页数据抽取

手工抽取

手工方法获取网页信息：通过人工分析，手工写出适合这个网站的表达式，表达式形式可以是XPath表达式，也可以是CSS选择器的表达式。

包装器简介及描述方式

自动抽取

小结

WEB TABLE 抽取简介

1表格实体链接（entity linking），将表格中各单元格的字符串映射到给定知识库的实体上。

1)候选生成

2)实体消岐

实体消岐步骤：构建实体消岐图、计算实体链接影响因子

两类实体链接影响因子：每个字符串的初始重要性，不同节点间的语义相关度

实体消岐算法：PageRank，用来整合不同的实体链接影响因子从而做出最终的实体链接决定。

四、实践展示：基于百科数据的知识抽取

Knowledge Collection

Category方法

命名规则方法

Knowledge Fusion

主语融合

宾语融合

1单值属性：

精确性原则：日期、地点等类型的属性值出现冲突时选择最精确的一个

大多数原则：不同来源的属性值出现冲突时，选择出现次数最多的值

2多值属性：直接合并去重

3对infobox属性进行补全

人工编写规则从非结构化文本中抽取属性值

依照指示融合方法将属性值对转换为三元组

打开CSDN APP，看更多技术内容

wikipedia miner

利用维基百科进行文档聚类的时候用到的工具包，很实用，开源的多功能工具箱

属性用途_槽填充（Slot Filling）的定义、用途、意义及其他

撰写本文的原因是作为(伪)机器翻译领域的学生，需要查阅一些NLU的资料。发现google到的文章上来就教你槽填充的方法，让人摸不着头脑。所以在此做一个总结同时也作为和老师讨论的资料。定义定义1One way of making sense of a piece of text is to tag the words or tokens which carry meaning to the sent

继续访问

知识抽取概念

构建知识图谱主要分为数据获取、知识抽取、知识融合和知识加工四个步骤。因为毕业设计涉及到知识抽取中的命名实体识别部分，以此博文来记录供自己日后的学习参考。

继续访问

CR-CNN（2015）论文阅读笔记

论文：Classifying Relations by Ranking with Convolutional Neural Networks（CR-CNN，2015）阅读笔记 一、背景 MV-RNN（2012） CNN（2014） FCM（2014） 二、模型 1Word Embeddings（一般方法） rw = Wwrdvw vw是one-hot向量，Word Embeddings维度为dw。 2Word Position Embeddings（一般方法） Word Position Embeddi

继续访问

NLP -- 公开数据收集

目前网上可供下载的数据众多，但是内容庞杂，把其中比较有用的数据找了出来。wiki系：wikipedia大家都不陌生，它的下载地址是：>

您好，D2R 便是其中一个非常流行的工具。它的作用是一个将关系型数据库发布为 Linked data。D2R 主要包括 D2R Server， D2RQ Engine 以及 D2RQ Mapping 语言。

D2R Server 是一个 >

语义网是网络时代的高级智能产物，其应用广泛，有着美好未来。下面将介绍主要应用技术与研究趋势。

经典的自底向上和新兴的自顶向下的方式。自底向上的方法关注于标注好的信息，使用RDF表示，所以这些信息是机器可读的。自顶向下则着重于利用现成的页面信息，从中自动抽取出有意义的信息。近年来每一种方法都有一定的发展。自底向上的方法的一个喜讯来自于Yahoo搜索引擎支持RDF与microformats的声明。这是一个对于内容发布者、Yahoo和消费者来说三赢的举措：发布者有了标注自己信息的激励，Yahoo可以更有效地利用这些信息，用户可以得到更好、更精确的结果。另一个喜讯来自于Dapper关于提供语义网络服务的声明，这项服务可以让内容发布者给现有的网页添加语义标注。可以期待的是，这种语义工具越多，发布者标注网页就会越容易。自动标注工具的发展与标注激励的增多，会使得自底向上的方法更加引人注目。尽管工具与激励都有了，但要使得自底向上的方法流行起来还是有相当的难度。事实上，今天google的技术已经可以在一定程度上理解那些非结构化的网页信息。类似地，自顶向下的语义工具关注点在于怎样处理现有的非完美的信息。这些方法主要是利用自然语言处理的技术来进行实体的抽取，这些方法包括识别文档中特定实体（与人名、公司、地点等）的文本分析技术，以及能获取特定领域信息的垂直搜索引擎。

自顶向下的技术关注于从非结构化的信息中获得知识，但它同样可以处理结构化的信息，自底向上的标注技术越多，自顶向下方法的性能就越能得到提高。在自底向上的标注方法中，有几种候选的标注技术，它们都很强大，对它们的选择需要在简单性及完全性之间作一个权衡。最完备的方法是RDF：一种强大的基于图的语言，用于表示事物、属性及事物间的关系。简单地来说，你可以认为RDF是这样的一种语言，它通过这样的方式来表达事实：Alex IS human （类型表达），Alex HAS a brain （属性表达），and Alex IS the father of Alice,Lilly,and Sofia （关系表达）。RDF很强大，但因为它是以高度递归、精确与数学化而著称的，同时它也是很复杂的。当前，大多RDF的使用都是为了解决数据的互通性。例如，医学组织使用RDF来表述染色体组数据库。因为信息被标准化了，所以，原来孤立的数据库就可以被一起查询并相互比较了。一般说来，除了语义方面的意义，RDF最主要的好处在于实现互通性与标准化，特别是对于企业来说（下文有论述）。Microfomats提供了一个简单的方法――CSS风格－―来给现有的HTML文档添加语义标记，简洁的meta数据被嵌入到原有的HTML文档中。比较流行的Microformats标签包括hCard：描述个人及公司联系信息；hReview：添加到评论页的meta信息；与hCalendar：描述事件的标签。Microformats因它的简单而得到流行，但它的能力仍然是很有限的。例如被传统的语义团体认为是很必要的层次结构的描述，它就做不到。此外，为了使得标记集最小化，难免地它们表达的意思就显得比较模糊。这就引出了另外一个问题：把标签嵌入到HTML文档中是不是一种合适的做法？然而，虽然仍存在很多的问题，Microformats还是因为它的简单而广受青睐，像Flickr,Eventful,LinkediIn及其它很多公司都在采用microformats，特别在是Yahoo的搜索声明发布之后。还有一种更为简单的方法就是把meta数据放在meta头中。这种方法已经在一定程度上被使用，可惜的是使用得还不是十分广泛。纽约时报最近为他们的新闻页面启动了一个标注扩展，这种方法的好处已经在那些主题或事件页面中显现出来。例如，一个新闻页面可以通过一组关键词来标识：地点、日期、时间、人物与类别。另一个例子是关于书的页面，已经在页面的meta头里加入了书本的信息：作者、ISBN与书的类别。尽管所有这些方法不尽相同，但相同之处是它们都是很管用的。越多的网页被标注，就会有越多的标准会被实现，同时信息也会变得更为强大与更易于得到。

关于语义网的讨论中，在用户与企业的关注点是不一样的。从消费者的立场来说，我们需要一个杀手级的应用（killer app），可以给用户传递实在而简单的价值。因为用户只会关注产品的实用性，而不会在乎它建立在什么技术之上。问题在于，直到目前为止，语义网的关注点更多的都还停留在理论层面，如标注信息以使得机器可读。我们可以给出这样的承诺：一但信息都被标注，网络就会变成一个大型的RDF数据库，大量激动人心的应用也会应运而生。但也有怀疑者指出，首先你必须得达成那样的假设。

已经有很多基于语义网的应用，如通用及垂直搜索引擎、文本助理工具、个人信息管理系统、语义浏览工具等等，但在它们为大众所接受之前，还有很长的路要走。即便这些技术成功了，用户也不会有兴趣知道那背后使用了些什么技术。所以说在用户层面推广语义网技术是没什么前景的。

企业就不一样了，第一，企业比较习惯于技术方面的论调，对于它们来说，利用语义技术可以增加产品的智能程度，从而形成市场价值。“我们的产品更好更聪明，因为我们使用语义网”，听起来这对企业来说是一个很不错的宣传。

从企业层面来说，RDF解决了数据的互通性标准的问题。这个问题其实在软件行业的早期便已出现，你可以忘掉语义网，只把它看作是一个标准协议，一个使得两个程序可以互通信息的标准。这对企业来说无疑是极具价值的。RDF提供了一个基于XML的通讯方案，它所描述的前景使得企业并不在乎它的复杂性。但还存在着一个扩展性的问题，跟已经普及优化的关系型数据库不同，基于XML的数据库并没有普及，这归咎于其可扩展性与查询能力。就像九十年代末的对象数据库一样，基于XML的数据库承载了太多的期望，让我们拭目以待。

语义API是随着语义网的发展而发展的，这类网络服务以非结构化的文本作为输入，输出一些实体与关系。例如路透社的Open Calais API，这项服务接受原始文本的输入，返回文本中的人名、地点、公司等信息，并在原文中加以标注。另一个例子是TextWise的Hacker API，该公司还提供了一百万美元的悬赏，以奖励基于它的API的最好的商业语义网应用。这个API可以把文档中的信息分为不同的类别（称为语义指纹），输出文档中的实体与主题。这点和Calais的很相似，但它还提供了一个主题的层次结构，文档中的实际对象是结构中的叶节点。再一个例子来自于Dapper，那是一个有助于从无结构的HTML页面提取结构化信息的网络服务。Dapper的工作依赖于用户在页面上为对象定义一些属性，比如，一个出版商会定义作者、ISBN和页数的信息在哪里，然后Dapper应用就可以为该站点创建一个识别器，之后就可以通过API来读取它的信息。从技术的角度来看，这似乎是个倒退，但实际上Dapper的技术在实际当中非常有用。举个典型的情景为例，对于一个并没有专门API可以读取其信息的网站，即便是一个不懂得技术的人都可以在短时间内用Dapper来构造一个API。这是最强大、最快捷的把网站变为网络服务的途径。

可能语义网发展的最初动机就是因为很久以来搜索的质量都已经很难再得到提升。关于对页面语义的理解能提高搜索质量这一点假设也已经被证实。语义网搜索两个主要的竞争者Hakia与PowerSet都已经做出不少的进步，但仍然不足够。因为，基于统计的google算法，在处理人物、城市与公司等实体时表现得与语义技术同样的好。当你提问“法国总统是谁”时，它能返回一个足够好的答案。越来越多人意识到对搜索技术边缘化的改进是很难击败google的，因而转向寻找语义网的杀手级应用。很有可能，理解语义对于搜索引擎是有帮助的，但就此并不足以构建一个更好的搜索引擎。充分结合语义、新颖的展示方式与对用户的识别能提升下一代搜索引擎的搜索体验。另有一些方法试图在搜索结果上应用语义。Google也在尝试把搜索结果分为不同的类别，用户可以决定他们对哪些类别感兴趣。搜索是一场竞赛，很多语义公司都在追逐其中。也许会有另一种提高搜索质量的可能：文本处理技术与语义数据库的结合。下面我们即将谈到。我们已经看到越来越多的文本处理工具进入消费市场。像Snap、Yahoo Shortcuts或SmartLinks那样的文本导航应用可以“理解”文本与链接中的对象，并附加相应的信息于其上。其结果是用户根本不需要搜索就可以得到对信息的理解。让我们想得更远一些，文本工具使用语义的方式可以更为有趣。文本工具不再解析用户在搜索框里输入的关键词，而是依赖于对网络文档的分析。这样对语义的理解会更为精确，或者说减少猜测性。随后文本工具给用户提供几类相关的结果供选择。这种方式从根本上不同于传统的把大量文档中得到的正确结果一起堆放在用户面前的方式。同样有越来越多的文本处理工具跟浏览器结合起来。自顶向下的语义技术不需要发布者做任何事情，因而可以想像上下文、文本工具可以结合在浏览器里。Firefox的推荐扩展页里提供了很多的文本浏览解决方案，如Interclue,ThumbStrips,Cooliris与BlueOrganizer等。

语义数据库是标注型语义网应用的一个发展方向。Twine正在beta测试阶段，它着眼于建立一个关于人物、公司、事件、地点的私人知识库，数据来源为各类论坛的非结构化内容，这些内容可通过书签、邮件或手工的方式进行提交。这项技术仍有待成熟，但它所能带来的好处显而易见。可以意想的一个基于Twine的应用为个性化的搜索，通过个人的知识库来对搜索结果进行过滤。Twine底层的数据表示方式是RDF，可以开放给其它的语义网络服务所采用，但其核心的算法，如实体提取是通过语义API的方式商业化的。路透社也提供了类似的API接口。另外一个语义数据库的先行者是一家叫Metaweb的公司，它的产品的Freebase。从它所展现的形式来看，Freebase只是一个基于RDF的更结构化的wikipedia翻版。但是Freebase的目标是建立一个像wikipedia那样的世界信息库，这个信息库的强大之处在于它可以进行精确的查询（就像关系型数据库那样）。所以它的前景依然是更好的搜索。但问题在于，Freebase怎样保持与世界信息同步俱进？google每天对网络文档进行索引，可以随着网络发展而发展。Freebase现在的信息仅来自于个人编辑及从wikipedia或其它数据库中抓回的数据。如果要扩展这个产品，就必须完善从全网络获取非结构化信息、解析并更新数据库这一处理流程。保持与世界同步这一问题对所有数据库方法都是一种挑战。对于Twine来说，需要有不断的用户数据加入，而对于Freebase来说，则需要有来自不断的来自网络的数据加入。这些问题解决起来并不简单，在真正实用之前都必须要有一个妥善的处理。所有新技术的出现都需要定义一些概念和得到一些类别。语义网提供了一个很激动人心的前景：提高信息的可发现性，实现复杂的搜索，新颖的网络浏览方式。此外语义网对不同的人有不同的意义，它对于企业和对于消费者的定义是不同的，在自顶向下VS自底向上，microformats VS RDF等不同类型中也有不同的含义。除了这些模式，我们也看到了语义API与文本浏览工具的发展。所有的这些都还处于其早期发展阶段，但都承载着改变我们与网络信息交互方式的期望。

语义网的高级阶段使得图书馆，售订票系统，客户管理系统，决策系统均能发挥很好的效果。譬如要出去旅行，只要把具体时间要求与自己喜爱的国内旅游类型提供给语义网支持的查询系统，那么很快相应的国内景点，最佳旅游方案与注意事项，提示以及旅行社的评价均能很快速得准备在浏览器页面上。

语义网终会把网络的高级阶段应用到世界的每一个角落，每个人均有自己的网络IP一样的身份z明个人消费信用、医疗、档案等等全在自己的网络身份里面。同时网络社区更比现实社区更有活跃力，网络社会更有秩序、更和谐。

以上就是关于浅谈基于语义网的知识管理全部的内容，包括:浅谈基于语义网的知识管理、知识抽取是算数据处理吗、问一下.用D2RQ将数据库的内容转化为虚拟的RDF..这个可以用来做本体的建立吗等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！