什么是元数据（MetaData）及?

了解元数据，可以看下下面这篇文章，是一个90后的小美女写的，通俗易懂。\x0d\\x0d\近几年，随着90后群体逐步迈入职场，逐渐出现在社会大众的视野当中。本文出自一名90后美女程序员之手，他们是极具个性的一代，他们这代技术人的新奇想法，正是现代企业需要的创新源泉\x0d\\x0d\关于作者：\x0d\\x0d\龚菲普元信息大数据产品部90后美女程序员\x0d\\x0d\公司大数据治理正做得风生水起，各种核心产品在国内市场数一数二，终极大BOSS们将数据治理方面的经验总结成文章，篇篇干货，堪称经典。(有兴趣的同学可以看下公众号的历史文章，不过据说有一批干货文章还没发表出来，敬请期待)。作为尚未正式入职的小菜鸟，我也只能在极浅的层面发表一些我自己的看法\x0d\\x0d\我将文章分为两大部分，第一部分介绍元数据概念，第二部分从几个方面说明元数据管理的应用，最后一部分总结一下元数据的重要性，仅代表我的一些个人观点，还请各位前辈们不要见笑。\x0d\\x0d\一、元数据什么鬼\x0d\\x0d\我入职的时候刚好赶上公司的元数据产品升级换代，同事们的研发气氛正火热，作为新入职菜鸟，总得先了解一下元数据概念，不然日后怎么和小伙伴们愉快地玩耍，于是查找国内外相关材料：\x0d\\x0d\一段时间之后有了一些知识积累，才发现用“关于数据的数据”来给元数据下定义确实再准确不过了，但同时也略微抽象，新人难于快速理解，待到上周我们数据治理专家从心理学的角度来阐述元数据之后，我终于也算理解了元数据到底是个啥，今天也算是站在“巨人”的肩膀上，用一种更简单的方式来回答“元数据究竟是什么”这个问题\x0d\\x0d\元数据是关于数据的描述，存储着关于数据的信息，为人们更方便地检索信息提供了帮助。咦检索信息小蝌蚪找妈妈的过程也是一个检索信息的过程，是不是看懂这个故事就能懂元数据是什么了\x0d\\x0d\池塘里有一群小蝌蚪，他们看见鲤鱼妈妈在教小鲤鱼捕食，就迎上去，问：“鲤鱼阿姨，我们的妈妈在哪里”\x0d\\x0d\此时蝌蚪们意识到，不对啊，我们的数据库里不是应该存在着一张Mother表吗，但是蝌蚪们竟然对这张表一无所知，不知道有什么字段，也不知道各个字段对应的具体数值：\x0d\\x0d\鲤鱼妈妈说：“你们的妈妈有四条腿，宽嘴巴。你们到那边去找吧!”\x0d\\x0d\鳄鱼笑着说：“你们的妈妈有两只大眼睛，披着绿衣裳。你们到那边去找吧!”\x0d\\x0d\乌龟笑着说：“我不是你们的妈妈，你们的妈妈肚皮是白的，到前面去找吧。”\x0d\\x0d\青蛙听了“各各”地笑起来，说“唉!傻孩子，我就是你们的妈妈呀”\x0d\\x0d\整个过程可以看成是Mother这张表逐步完善的过程，数据来源分别是鲤鱼妈妈、鳄鱼妈妈和乌龟妈妈，如下图所示：\x0d\\x0d\对蝌蚪们最终获取到的信息进行进一步抽象，就可以形成一种“元数据”，该元数据描述了Mother这张表的结构：\x0d\\x0d\刚才不是说元数据能为检索信息提供帮助吗，那是不是也说明元数据能为小蝌蚪找妈妈提供帮助我们将在第二部分试着对这个故事进行改编，详细介绍小蝌蚪利用元数据快速找到妈妈的过程。\x0d\\x0d\二、元数据管理的应用\x0d\\x0d\通常一款元数据管理工具应具备元模型设计、元数据采集、元数据分析、数据地图展现等核心功能，我们试着改编小蝌蚪找妈妈这个故事，在改编的过程中理解这几个核心功能，前提是我们假设所有动物共同构成了一个庞大的数据体系，小蝌蚪们Mother的具体数据已经存在于此体系之中(鲤鱼系统、鳄鱼系统、乌龟系统)。\x0d\\x0d\1、元模型设计\x0d\\x0d\先解释一下元模型。如果说元数据是对数据的描述，那么元模型就是对元数据的描述，是对元数据的进一步抽象，三者的关系如下图所示：\x0d\\x0d\再讲一下元模型设计的过程。首先获取到系统中的所有元数据，将这些元数据汇总并进行合理规划，进一步抽象成元模型，从一定角度来说，可以把这个抽象的过程看成元模型设计的过程。\x0d\\x0d\元模型定义了各种元数据的结构以及元数据之间的关系，是元数据管理的基础，也就是说，如果我们想用元数据帮助小蝌蚪找妈妈，需要先设计出合理的元模型。下图是我试着给它们设计出的元模型(对于企业来说，真正的元模型设计过程非常复杂，受多方面因素影响)：\x0d\\x0d\我们认为小蝌蚪的妈妈(Mother)由若干个属性(Property)组成，每个属性的名称用Name表示，每个属性的类型用Type表示。\x0d\\x0d\现在元模型有了，下一步就是按照这个设计好的元模型采集小蝌蚪们需要的元数据信息，也就是我们常说的元数据采集。\x0d\\x0d\2、元数据采集\x0d\\x0d\设计好元模型之后，元数据管理工具能通过全自动的方式采集到企业所需要的元数据，在这个故事中，按照我设计好的元模型，元数据管理工具的元数据采集结果应该如下图所示：\x0d\\x0d\小蝌蚪们拿着这份元数据再去针对性地检索关于妈妈的信息，就能一步到位，将目标直接锁定到青蛙，整个故事将因元数据的出现而成功改写。\x0d\\x0d\说明：在真实的企业数据环境中，数据与元数据是已经存在于系统之中的，元数据管理就是根据企业现有的元数据设计出适合企业的元模型，然后将系统之中的元数据按照元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的。\x0d\\x0d\3、元数据分析\x0d\\x0d\a、血缘分析\x0d\\x0d\假设动物园园长慢羊羊正管理着整个动物园的数据信息，有一天园长发现自己这里有个数据不对，需要找出错误数据的提供者并追究责任，那么这个错误数据来自于哪个动物家庭呢挨家挨户去敲门核对数据显然不够高效，元数据管理工具的血缘分析功能会自动帮助园长分析这个错误数据的上游路径，比如这个数据是由鲤鱼妈妈交给鳄鱼妈妈，鳄鱼妈妈再提交给园长的，那么此时园长只需要去敲鲤鱼和鳄鱼家的门就可以了。\x0d\\x0d\b、影响分析\x0d\\x0d\数据终于更正了，此时园长需要及时提醒大家这个数据的更正信息，只需要通知这个数据影响到的动物家庭就可以了，这让园长十分苦恼，整个动物园的数据传递这么复杂，怎么判断哪个家庭会受到这个数据的影响呢，元数据管理工具的影响分析功能会分析出这个数据的影响范并能用可视化的方式展现出来，园长只需要通知受影响的动物家庭就可以了。\x0d\\x0d\c、数据地图展现\x0d\\x0d\随着动物园规模的日益扩大，入住的动物种类日益增多，有一天园长想了解动物园的整体情况，有多少动物家庭，哪个家庭和哪个家庭比较要好，哪个家庭和哪个家庭又从来没有联系，此时元数据管理工具的数据地图可以帮助园长获取到他想要的信息，数据地图展现功能可以通过可视化的方式，让园长对整个动物园的情况了如指掌，帮助它更好地观察整个动物园的情况。\x0d\\x0d\三、元数据的重要性\x0d\\x0d\在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。\x0d\\x0d\写在最后：\x0d\\x0d\公司正在研发针对企业级用户的数字化企业云平台，并且全面公开研发文档与技术细节，由我担任的群主的微信讨论群也会对架构设计过程进行公开，欢迎对此感兴趣的前辈和朋友入群，与我们共同讨论，共商“云”是。感兴趣或者想学习相关技术，可在百度中搜EAii了解。

大数据时代下，凭借数据管理框架中的重要管理职能，元数据管理也越来越频繁的出现在大家的视野中。
元数据及应用也是数据仓库的重要组成部分，它是描述数据的数据（data about data)，描述数据的属性信息，可以帮助我们非常方便地找到他们所关心的数据。
元数据记录了哪些信息？
数据的表结构：字段信息、分区信息、索引信息等；
数据的使用&权限：空间存储、读写记录、修改记录、权限归属、审核记录等其他信息；
数据的血缘关系信息：血缘信息简单的说就是数据的上下游关系，数据从哪里来到哪里去？我们通过血缘关系，可以了解到建立起生产这些数据的任务之间的依赖关系，进而辅助调度系统的工作调度，或者用来判断一个失败或错误的任务可能对哪些下游数据造成影响等等；而在数据排查过程中也可以帮助我们定位问题。
数据的业务属性信息：记录这张表的业务用途，各个字段的具体统计口径、业务描述、历史变迁记录、变迁原因等。这部分数据多是我们手动填写，但却能大大提升数据使用过程中的便利性。
对于元数据的概念及元数据管理的作用，这篇文章大概做了一个介绍，希望能帮到对其理解不够清晰的非业内人士。

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。利用可视化的用户体验，实现包括元模型添加、删除、修改、发布等维护功能；并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯，以及每个元模型的生命周期管理等等

IT 组织需要有效的元数据管理解决方案以：
• 简化数据发现和跟踪数据中央目录。大多数公司需要管理日益复杂的系统。通过管理元数据，IT 组织可以在能够快速发现数据资产的多个系统内创建数据资产库存。
• 通过重复使用数据加强一致性并消除冗余，从而提高工作效率并降低项目付时间。可以将中央元数据资料库当作“单一数据源”来发现开发人员可以充分利用的可重用组件。公司可以减少冗余或未使用数据的数量，从而允许进行硬件和软件整合并节省成本。
• 减少因人员流动而导致知识流失的风险。有关存储重要信息的位置和方式、以及经常未存档意味着什么，所有这些都只留在了某些员工的头脑里。当这些关键员工离开公司时，这方面的知识也就会随着他们一起消失。元数据管理系统内的中央元数据资料库保存了这方面的知识，从而减轻了此类信息随着离职员工一起消失的任何风险。
• 增加了向业务用户报告的数据交付的信心。跟踪数据沿袭：数据来自什么地方以及如何产生、处理和交付数据，这为业务用户提供了重要的背景知识。探查源系统中的数据可以暴露和解决数据不准确性和不一致性问题，从而产生可靠的高质量数据。
• 通过制定更有效的开发流程来提高  IT  部门对业务的响应度。元数据的集成和可见性可以帮助  IT  部门了解存在哪些数据、数据存储位置及其含义，从而最大限度地降低信息的复杂性。此外，这种可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构，并将会加快新数据集成项目的开发。数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。并且，能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。

---