如何有效的进行数据治理和数据管控

从技术实施角度看，主要包含“理”“采”“存”“管”“用”这五个，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。

数据采集清洗：通过可视化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。

基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。

元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapReduce，HBase 等。

商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。

数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

元数据的英文名称是“Metadata"，它是“关于数据的数据”在地理空间信息中用于描述地理数据集的内容、质量、表示方式、空间参考、管理方式以及数据集的其他特征，它是实现地理空间信息共享的核心标准之一。目前，国际上对空间元数据标准内容进行研究的组织主要有三个，分别是欧洲标准化委员会(CEN/TC287)、美国联邦地理数据委员会(FGDC)和国际标准化组织地理信息/地球信息技术委员会(ISO/TC211)。空间元数据标准内容分两个层次。第一层是目录信息，主要用于对数据集信息进行宏观描述，它适合在数字地球的国家级空间信息交换中心或区域以及全球范围内管理和查询空间信息时使用。第二层是详细信息，用来详细或全面描述地理空间信息的空间元数据标准内容，是数据集生产者在提供空间数据集时必须要提供的信息。

元数据主要有下列几个方面的作用：

(1)用来组织和管理空间信息，并挖掘空间信息资源，这正是数字地球的特点和优点所在。通过它可以在广域网或因特网上准确地识别、定位和访问空间信息。

(2)帮助数据使用者查询所需空间信息。比如，它可以按照不同的地理区间、指定的语言以及具体的时间段来查找空间信息资源。

(3)组织和维护一个机构对数据的投资。

(4)用来建立空间信息的数据目录和数据交换中心。通过数据目录和数据交换中心等提供的空间元数据内容，用户可以共享空间信息、维护数据结果，以及对它们进行优化等。

(5)提供数据转换方面的信息。使用户在获取空间信息的同时便可以得到空间元数据信息。通过空间元数据，人们可以接受并理解空间信息，与自己的空间信息集成在一起，进行不同方面的科学分析和决策。描述空间信息的元数据标准体系内容按照部分、复合元素和数据元素来组织，它们是依次包含关系，前者包含后者，即：后者依次组成前者。具体分为8个基本内容部分和4个引用部分，由12个部分组成，其中标准化内容包括标识信息、数据质量信息、数据集继承信息、空间数据表示信息、空间参照系信息、实体和属性信息、发行信息以及空间元数据参考信息等内容，另外还有4个部分是标准化部分中必须引用的信息，它们为引用信息、时间范围信息、联系信息及地址信息。元数据标准内容体系是通过元数据网络管理系统来实现的，该系统主要由权限验证功能(服务器端验证)、输入和合法性校验功能(客户端校验)、查询功能(服务器端查询)与返回和显示功能(服务器端格式化查询结果并返回，客户端显示)等组成。利用空间元数据网络管理系统作为空间交换站的共享软件可基本上实现空间信息的网络共享。

用来描述数据的数据就是元数据！

元数据库是指用来描述其他表信息的数据表。

例如：

存放在学生表中的数据称为数据----Data。而在我们创建表的时候，指定的表的名字，字段的名字，字段的类型，表的约束信息也是数据，这些数据称为表的元数据----MetaData

第一个数据库INFORMATION_SCHEMA：提供了访问数据库元数据的方式。

元数据是关于数据的数据，如数据库名或表名，列的数据类型，或访问权限等。有些时候用于表述该信息的其他术语包括“数据词典”和“系统目录”。

INFORMATION_SCHEMA是信息数据库，其中保存着关于MySQL服务器所维护的所有其他数据库的信息。在INFORMATION_SCHEMA中，有数个只读表。它们实际上是视图，而不是基本表，因此，你将无法看到与之相关的任何文件。

每位MySQL用户均有权访问这些表，但仅限于表中的特定行，在这类行中含有用户具有恰当访问权限的对象。

第二个数据库mysql：这个是mysql的核心数据库，类似于sql server中的master表，主要负责存储数据库的用户、权限设置、关键字等mysql自己需要使用的控制和管理信息。不可以删除，如果对mysql不是很了解，也不要轻易修改这个数据库里面的表信息。

元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。 [编辑]元数据的特点[1] ①元数据是关于数据的结构化的数据，它不一定是数字形式的，可来自不同的资源。 ②元数据是与对象相关的数据，此数据使其潜在的用户不必先具备对这些对象的存在和特征的完整认识。 ③元数据是对信息包裹(Information Package)的编码的描述。 ④元数据包含用于描述信息对象的内容和位置的数据元素集，促进了网络环境中信息对象的发现和检索。 ⑤元数据不仅对信息对象进行描述，还能够描述资源的使用环境、管理、加工、保存和使用等方面的情况。 ⑥在信息对象或系统的生命周期中自然增加元数据。 ⑦元数据常规定义中的“数据”是表示事务性质的符号，是进行各种统计、计算、科学研究、技术设计所依据的数值，或是说数字化、公式化、代码化、图表化的信息。 [编辑]元数据的类型[1] 根据功能可将元数据划分为管理型元数据、描述型元数据、保存型元数据、技术型元数据、使用型元数据。根据结构和语境可将元数据划分为三组：第一组为全文索引；第二组为简单结构化的普通格式，如DC、RFCl807、Template等；第三组为结构复杂的特殊领域内的格式，如FGDC、GILS、TEI、EAD等。 根据元数据的应用范围，可分为通用性元数据、专业性元数据、Web元数据、多媒体元数据。 [编辑]元数据的结构[1] ①内容结构。包括描述性元素、技术性元素、管理性元素、复用性元素。 ②句法结构。包括元素的分区分层分段组织结构、元素结构描述方法、DTD描述语言、元数据复用方式、与被描述对象的捆绑方式。 ③语义结构。包括元素内容编码规则定义、元素定义、元素语义概念关系、元数据版本管理。 [编辑]元数据的作用[2] 元数据是网络信息资源描述的重要工具，可以用于网络信息资源管理的各个方面，包括信息资源的建立、发布、转换、使用、共享等。元数据在网络信息资源组织方面的作用可以概括为五个方面：描述、定位、搜寻、评估和选择。 (1)描述作用：根据元数据的定义，它最基本的功能就在于对信息对象的内容和位置进行描述，从而为信息对象的存取与利用奠定必要的基础。 (2)定位作用：由于网络信息资源没有具体的实体存在，因此，明确它的定位至关重要。元数据包含有关网络信息资源位置方面的信息，因而由此便可确定资源的位置之所在，促进了网络环境中信息对象的发现和检索。此外，在信息对象的元数据确定以后，信息对象在数据库或其他集合体中的位置也就确定了，这是定位的另一层含义。 (3)搜寻作用：元数据提供搜寻的基础，在著录的过程中，将信息对象中的重要信息抽出并加以组织，赋予语意，并建立关系，使检索结果更加准确，从而有利于用户识别资源的价值，发现其真正需要的资源。 (4)评估作用：元数据提供有关信息对象的名称、内容、年代、格式、制作者等基本属性，使用户在无需浏览信息对象本身的情况下，就能够对信息对象具备基本了解和认识，参照有关标准即可对其价值进行必要的评估，作为存取利用的参考。 (5)选择作用：根据元数据所提供的描述信息，参照相应的评估标准，结合使用环境，用户便能够做出对信息对象取舍的决定，选择适合用户使用的资源。

了解元数据，可以看下下面这篇文章，是一个90后的小美女写的，通俗易懂。\x0d\\x0d\近几年，随着90后群体逐步迈入职场，逐渐出现在社会大众的视野当中。本文出自一名90后美女程序员之手，他们是极具个性的一代，他们这代技术人的新奇想法，正是现代企业需要的创新源泉\x0d\\x0d\关于作者：\x0d\\x0d\龚菲普元信息大数据产品部90后美女程序员\x0d\\x0d\公司大数据治理正做得风生水起，各种核心产品在国内市场数一数二，终极大BOSS们将数据治理方面的经验总结成文章，篇篇干货，堪称经典。(有兴趣的同学可以看下公众号的历史文章，不过据说有一批干货文章还没发表出来，敬请期待)。作为尚未正式入职的小菜鸟，我也只能在极浅的层面发表一些我自己的看法\x0d\\x0d\我将文章分为两大部分，第一部分介绍元数据概念，第二部分从几个方面说明元数据管理的应用，最后一部分总结一下元数据的重要性，仅代表我的一些个人观点，还请各位前辈们不要见笑。\x0d\\x0d\一、元数据什么鬼\x0d\\x0d\我入职的时候刚好赶上公司的元数据产品升级换代，同事们的研发气氛正火热，作为新入职菜鸟，总得先了解一下元数据概念，不然日后怎么和小伙伴们愉快地玩耍，于是查找国内外相关材料：\x0d\\x0d\一段时间之后有了一些知识积累，才发现用“关于数据的数据”来给元数据下定义确实再准确不过了，但同时也略微抽象，新人难于快速理解，待到上周我们数据治理专家从心理学的角度来阐述元数据之后，我终于也算理解了元数据到底是个啥，今天也算是站在“巨人”的肩膀上，用一种更简单的方式来回答“元数据究竟是什么”这个问题\x0d\\x0d\元数据是关于数据的描述，存储着关于数据的信息，为人们更方便地检索信息提供了帮助。咦检索信息小蝌蚪找妈妈的过程也是一个检索信息的过程，是不是看懂这个故事就能懂元数据是什么了\x0d\\x0d\池塘里有一群小蝌蚪，他们看见鲤鱼妈妈在教小鲤鱼捕食，就迎上去，问：“鲤鱼阿姨，我们的妈妈在哪里”\x0d\\x0d\此时蝌蚪们意识到，不对啊，我们的数据库里不是应该存在着一张Mother表吗，但是蝌蚪们竟然对这张表一无所知，不知道有什么字段，也不知道各个字段对应的具体数值：\x0d\\x0d\鲤鱼妈妈说：“你们的妈妈有四条腿，宽嘴巴。你们到那边去找吧!”\x0d\\x0d\鳄鱼笑着说：“你们的妈妈有两只大眼睛，披着绿衣裳。你们到那边去找吧!”\x0d\\x0d\乌龟笑着说：“我不是你们的妈妈，你们的妈妈肚皮是白的，到前面去找吧。”\x0d\\x0d\青蛙听了“各各”地笑起来，说“唉!傻孩子，我就是你们的妈妈呀”\x0d\\x0d\整个过程可以看成是Mother这张表逐步完善的过程，数据来源分别是鲤鱼妈妈、鳄鱼妈妈和乌龟妈妈，如下图所示：\x0d\\x0d\对蝌蚪们最终获取到的信息进行进一步抽象，就可以形成一种“元数据”，该元数据描述了Mother这张表的结构：\x0d\\x0d\刚才不是说元数据能为检索信息提供帮助吗，那是不是也说明元数据能为小蝌蚪找妈妈提供帮助我们将在第二部分试着对这个故事进行改编，详细介绍小蝌蚪利用元数据快速找到妈妈的过程。\x0d\\x0d\二、元数据管理的应用\x0d\\x0d\通常一款元数据管理工具应具备元模型设计、元数据采集、元数据分析、数据地图展现等核心功能，我们试着改编小蝌蚪找妈妈这个故事，在改编的过程中理解这几个核心功能，前提是我们假设所有动物共同构成了一个庞大的数据体系，小蝌蚪们Mother的具体数据已经存在于此体系之中(鲤鱼系统、鳄鱼系统、乌龟系统)。\x0d\\x0d\1、元模型设计\x0d\\x0d\先解释一下元模型。如果说元数据是对数据的描述，那么元模型就是对元数据的描述，是对元数据的进一步抽象，三者的关系如下图所示：\x0d\\x0d\再讲一下元模型设计的过程。首先获取到系统中的所有元数据，将这些元数据汇总并进行合理规划，进一步抽象成元模型，从一定角度来说，可以把这个抽象的过程看成元模型设计的过程。\x0d\\x0d\元模型定义了各种元数据的结构以及元数据之间的关系，是元数据管理的基础，也就是说，如果我们想用元数据帮助小蝌蚪找妈妈，需要先设计出合理的元模型。下图是我试着给它们设计出的元模型(对于企业来说，真正的元模型设计过程非常复杂，受多方面因素影响)：\x0d\\x0d\我们认为小蝌蚪的妈妈(Mother)由若干个属性(Property)组成，每个属性的名称用Name表示，每个属性的类型用Type表示。\x0d\\x0d\现在元模型有了，下一步就是按照这个设计好的元模型采集小蝌蚪们需要的元数据信息，也就是我们常说的元数据采集。\x0d\\x0d\2、元数据采集\x0d\\x0d\设计好元模型之后，元数据管理工具能通过全自动的方式采集到企业所需要的元数据，在这个故事中，按照我设计好的元模型，元数据管理工具的元数据采集结果应该如下图所示：\x0d\\x0d\小蝌蚪们拿着这份元数据再去针对性地检索关于妈妈的信息，就能一步到位，将目标直接锁定到青蛙，整个故事将因元数据的出现而成功改写。\x0d\\x0d\说明：在真实的企业数据环境中，数据与元数据是已经存在于系统之中的，元数据管理就是根据企业现有的元数据设计出适合企业的元模型，然后将系统之中的元数据按照元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的。\x0d\\x0d\3、元数据分析\x0d\\x0d\a、血缘分析\x0d\\x0d\假设动物园园长慢羊羊正管理着整个动物园的数据信息，有一天园长发现自己这里有个数据不对，需要找出错误数据的提供者并追究责任，那么这个错误数据来自于哪个动物家庭呢挨家挨户去敲门核对数据显然不够高效，元数据管理工具的血缘分析功能会自动帮助园长分析这个错误数据的上游路径，比如这个数据是由鲤鱼妈妈交给鳄鱼妈妈，鳄鱼妈妈再提交给园长的，那么此时园长只需要去敲鲤鱼和鳄鱼家的门就可以了。\x0d\\x0d\b、影响分析\x0d\\x0d\数据终于更正了，此时园长需要及时提醒大家这个数据的更正信息，只需要通知这个数据影响到的动物家庭就可以了，这让园长十分苦恼，整个动物园的数据传递这么复杂，怎么判断哪个家庭会受到这个数据的影响呢，元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来，园长只需要通知受影响的动物家庭就可以了。\x0d\\x0d\c、数据地图展现\x0d\\x0d\随着动物园规模的日益扩大，入住的动物种类日益增多，有一天园长想了解动物园的整体情况，有多少动物家庭，哪个家庭和哪个家庭比较要好，哪个家庭和哪个家庭又从来没有联系，此时元数据管理工具的数据地图可以帮助园长获取到他想要的信息，数据地图展现功能可以通过可视化的方式，让园长对整个动物园的情况了如指掌，帮助它更好地观察整个动物园的情况。\x0d\\x0d\三、元数据的重要性\x0d\\x0d\在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。\x0d\\x0d\写在最后：\x0d\\x0d\公司正在研发针对企业级用户的数字化企业云平台，并且全面公开研发文档与技术细节，由我担任的群主的微信讨论群也会对架构设计过程进行公开，欢迎对此感兴趣的前辈和朋友入群，与我们共同讨论，共商“云”是。感兴趣或者想学习相关技术，可在百度中搜EAii了解。

以上就是关于如何有效的进行数据治理和数据管控全部的内容，包括:如何有效的进行数据治理和数据管控、什么是元数据库、元数据库是什么与数据库有何区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！