什么是元数据（MetaData）及?

了解元数据，可以看下下面这篇文章，是一个90后的小美女写的，通俗易懂。\x0d\x0a\x0d\x0a近几年，随着90后群体逐步迈入职场，逐渐出现在社会大众的视野当中。本文出自一名90后美女程序员之手，他们是极具个性的一代，他们这代技术人的新奇想法，正是现代企业需要的创新源泉?\x0d\x0a\x0d\x0a关于作者：\x0d\x0a\x0d\x0a龚菲普元信息大数据产品部90后美女程序员\x0d\x0a\x0d\x0a公司大数据治理正做得风生水起，各种核心产品在国内市场数一数二，终极大BOSS们将数据治理方面的经验总结成文章，篇篇干货，堪称经典。(有兴趣的同学可以看下公众号的历史文章，不过据说有一批干货文章还没发表出来，敬请期待)。作为尚未正式入职的小菜鸟，我也只能在极浅的层面发表一些我自己的看法?\x0d\x0a\x0d\x0a我将文章分为两大部分，第一部分介绍元数据概念，第二部分从几个方面说明元数据管理的应用，最后一部分总结一下元数据的重要性，仅代表我的一些个人观点，还请各位前辈们不要见笑。\x0d\x0a\x0d\x0a一、元数据什么鬼?\x0d\x0a\x0d\x0a我入职的时候刚好赶上公司的元数据产品升级换代，同事们的研发气氛正火热，作为新入职菜鸟，总得先了解一下元数据概念，不然日后怎么和小伙伴们愉快地玩耍，于是查找国内外相关材料：\x0d\x0a\x0d\x0a一段时间之后有了一些知识积累，才发现用“关于数据的数据”来给元数据下定义确实再准确不过了，但同时也略微抽象，新人难于快速理解，待到上周我们数据治理专家从心理学的角度来阐述元数据之后，我终于也算理解了元数据到底是个啥，今天也算是站在“巨人”的肩膀上，用一种更简单的方式来回答“元数据究竟是什么”这个问题?\x0d\x0a\x0d\x0a元数据是关于数据的描述，存储着关于数据的信息，为人们更方便地检索信息提供了帮助。咦?检索信息?小蝌蚪找妈妈的过程也是一个检索信息的过程，是不是看懂这个故事就能懂元数据是什么了?\x0d\x0a\x0d\x0a池塘里有一群小蝌蚪，他们看见鲤鱼妈妈在教小鲤鱼捕食，就迎上去，问：“鲤鱼阿姨，我们的妈妈在哪里?”\x0d\x0a\x0d\x0a此时蝌蚪们意识到，不对啊，我们的数据库里不是应该存在着一张Mother表吗，但是蝌蚪们竟然对这张表一无所知，不知道有什么字段，也不知道各个字段对应的具体数值：\x0d\x0a\x0d\x0a鲤鱼妈妈说：“你们的妈妈有四条腿，宽嘴巴。你们到那边去找吧!”\x0d\x0a\x0d\x0a鳄鱼笑着说：“你们的妈妈有两只大眼睛，披着绿衣裳。你们到那边去找吧!”?\x0d\x0a\x0d\x0a乌龟笑着说：“我不是你们的妈妈，你们的妈妈肚皮是白的，到前面去找吧。”?\x0d\x0a\x0d\x0a青蛙听了“各各”地笑起来，说“唉!傻孩子，我就是你们的妈妈呀”\x0d\x0a\x0d\x0a整个过程可以看成是Mother这张表逐步完善的过程，数据来源分别是鲤鱼妈妈、鳄鱼妈妈和乌龟妈妈，如下图所示：\x0d\x0a\x0d\x0a对蝌蚪们最终获取到的信息进行进一步抽象，就可以形成一种“元数据”，该元数据描述了Mother这张表的结构：\x0d\x0a\x0d\x0a刚才不是说元数据能为检索信息提供帮助吗，那是不是也说明元数据能为小蝌蚪找妈妈提供帮助?我们将在第二部分试着对这个故事进行改编，详细介绍小蝌蚪利用元数据快速找到妈妈的过程。\x0d\x0a\x0d\x0a二、元数据管理的应用\x0d\x0a\x0d\x0a通常一款元数据管理工具应具备元模型设计、元数据采集、元数据分析、数据地图展现等核心功能，我们试着改编小蝌蚪找妈妈这个故事，在改编的过程中理解这几个核心功能，前提是我们假设所有动物共同构成了一个庞大的数据体系，小蝌蚪们Mother的具体数据已经存在于此体系之中(鲤鱼系统、鳄鱼系统、乌龟系统)。\x0d\x0a\x0d\x0a1、元模型设计\x0d\x0a\x0d\x0a先解释一下元模型。如果说元数据是对数据的描述，那么元模型就是对元数据的描述，是对元数据的进一步抽象，三者的关系如下图所示：\x0d\x0a\x0d\x0a再讲一下元模型设计的过程。首先获取到系统中的所有元数据，将这些元数据汇总并进行合理规划，进一步抽象成元模型，从一定角度来说，可以把这个抽象的过程看成元模型设计的过程。\x0d\x0a\x0d\x0a元模型定义了各种元数据的结构以及元数据之间的关系，是元数据管理的基础，也就是说，如果我们想用元数据帮助小蝌蚪找妈妈，需要先设计出合理的元模型。下图是我试着给它们设计出的元模型(对于企业来说，真正的元模型设计过程非常复杂，受多方面因素影响)：\x0d\x0a\x0d\x0a我们认为小蝌蚪的妈妈(Mother)由若干个属性(Property)组成，每个属性的名称用Name表示，每个属性的类型用Type表示。\x0d\x0a\x0d\x0a现在元模型有了，下一步就是按照这个设计好的元模型采集小蝌蚪们需要的元数据信息，也就是我们常说的元数据采集。\x0d\x0a\x0d\x0a2、元数据采集\x0d\x0a\x0d\x0a设计好元模型之后，元数据管理工具能通过全自动的方式采集到企业所需要的元数据，在这个故事中，按照我设计好的元模型，元数据管理工具的元数据采集结果应该如下图所示：\x0d\x0a\x0d\x0a小蝌蚪们拿着这份元数据再去针对性地检索关于妈妈的信息，就能一步到位，将目标直接锁定到青蛙，整个故事将因元数据的出现而成功改写。\x0d\x0a\x0d\x0a说明：在真实的企业数据环境中，数据与元数据是已经存在于系统之中的，元数据管理就是根据企业现有的元数据设计出适合企业的元模型，然后将系统之中的元数据按照元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的。\x0d\x0a\x0d\x0a3、元数据分析\x0d\x0a\x0d\x0aa、血缘分析\x0d\x0a\x0d\x0a假设动物园园长慢羊羊正管理着整个动物园的数据信息，有一天园长发现自己这里有个数据不对，需要找出错误数据的提供者并追究责任，那么这个错误数据来自于哪个动物家庭呢?挨家挨户去敲门核对数据显然不够高效，元数据管理工具的血缘分析功能会自动帮助园长分析这个错误数据的上游路径，比如这个数据是由鲤鱼妈妈交给鳄鱼妈妈，鳄鱼妈妈再提交给园长的，那么此时园长只需要去敲鲤鱼和鳄鱼家的门就可以了。\x0d\x0a\x0d\x0ab、影响分析\x0d\x0a\x0d\x0a数据终于更正了，此时园长需要及时提醒大家这个数据的更正信息，只需要通知这个数据影响到的动物家庭就可以了，这让园长十分苦恼，整个动物园的数据传递这么复杂，怎么判断哪个家庭会受到这个数据的影响呢，元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来，园长只需要通知受影响的动物家庭就可以了。\x0d\x0a\x0d\x0ac、数据地图展现\x0d\x0a\x0d\x0a随着动物园规模的日益扩大，入住的动物种类日益增多，有一天园长想了解动物园的整体情况，有多少动物家庭，哪个家庭和哪个家庭比较要好，哪个家庭和哪个家庭又从来没有联系，此时元数据管理工具的数据地图可以帮助园长获取到他想要的信息，数据地图展现功能可以通过可视化的方式，让园长对整个动物园的情况了如指掌，帮助它更好地观察整个动物园的情况。\x0d\x0a\x0d\x0a三、元数据的重要性\x0d\x0a\x0d\x0a在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。\x0d\x0a\x0d\x0a写在最后：\x0d\x0a\x0d\x0a公司正在研发针对企业级用户的数字化企业云平台，并且全面公开研发文档与技术细节，由我担任的群主的微信讨论群也会对架构设计过程进行公开，欢迎对此感兴趣的前辈和朋友入群，与我们共同讨论，共商“云”是。感兴趣或者想学习相关技术，可在百度中搜EAii了解。

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、 *** 作和管理能达成协同和一致。

元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个过程，直接影响着数据仓库的构建、使用和维护。

构建数据仓库的主要步骤之一是ETL。这时元数据将发挥重要的作用，它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。 用户在使用数据仓库时，通过元数据访问数据，明确数据项的含义以及定制报表。 数据仓库的规模及其复杂性离不开正确的元数据管理，包括增加或移除外部数据源，改变数据清洗方法，控制出错的查询以及安排备份等。

元数据可分为技术元数据和业务元数据。技术元数据为开发和管理数据仓库的IT 人员使用，它描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。而业务元数据为管理层和业务分析人员服务，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

由上可见，元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体。

派可数据，用心创造数据价值 让数据分析更简单

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、 *** 作和管理能达成协同和一致。

元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个过程，直接影响着数据仓库的构建、使用和维护。

元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体。

---