企业数据治理措施包括哪些?

企业数据治理措施包括哪些?,第1张

1.提高全面思想认识

毋庸置疑,数据是企业的宝贵资产,各企业已经意识到数据质量的重要性,但是并没有将数据治理提到战略高度,信息化建设的重点仍然是应用系统建设和运维。数据治理是一个系统工程,需要管理层、系统开发人员、系统使用人员、系统维护人员多方协作才能进行。

2.成立数据治理组织

健全的数据治理组织是全面开展数据治理工作的基础,数据治理组织应包括管理人员、业务人员和技术人员,缺一不可。数据治理组织可以设置三种角色,数据治理委员会、数据治理业务组、数据治理技术组。

3.建立数据标准体系

一般来说,信息化建设应遵循标准先行的原则,在应用系统建设初期就应该制定企业内部数据标准体系,保证各业务部门、各业务系统使用相同的数据标准,提高部门间、系统间数据共享能力,避免形成信息孤岛。

以下文章来源于谈数据 ,作者石秀峰

1、找症状,明确目标

任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。

由于这些数据问题的存在对业务的开展和业务部门之间的沟通造成了较大的困扰,产生了很大的成本;各异构的系统中数据不一致,导致业务系统之间的应用集成无法开展;数据质量差无法支撑数据分析,分析结果与实际偏差较大。然而要实现数据驱动管理、数据驱动业务的目标,没有高质量的数据支撑是行不通的。

目标:企业实施数据治理的第一步,就是要明确数据治理的目标,理清数据治理的关键点。

技术工具:实地调研、高层访谈、组织架构图。

输入:企业数据战略规划,亟待解决的业务问题,经营发展需求,业务需求等;

输出:数据治理的初步沟通方案,项目任务书,工作计划表;

2、理数据,现状分析

针对企业数据治理所处的内外部环境,从组织、人员、流程、数据四个方面入手,进行数据治理现状的分析。

某企业数据治理痛点分析

组织方面:是否有专业的数据治理组织,是否明确岗位职责和分工。

人员方面:数据人才的资源配置情况,包括数据标准化人员、数据建模人员,数据分析人员,数据开发人员等,以及数据人才的占比情况。

流程方面:数据管理的现状,是否有归口管理部门,是否有数据管理的流程、流程各环节的数据控制情况等;

数据方面:梳理数据质量问题列表,例如:数据不一致问题,数据不完整,数据不准确、数据不真实、数据不及时、数据关系混乱,以及数据的隐私与安全问题等。

目标:分析企业数据管理和数据质量的现状,确定初步数据治理成熟度评估方案。

技术工具:实地访谈、调研表、数据质量问题评议表、关键数据识别方法论(例如:主数据特征识别法);

输入:需求及现状调研表、访谈记录、数据样本、数据架构、数据管理制度和流程文件;

输出:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估方案;

3、数据治理成熟度评估

数据治理成熟度反映了组织进行数据治理所具备的条件和水平,包括元数据管理、数据质量管理、业务流程整合、主数据管理和信息生命周期管理。

CMMI DMM数据管理能力成熟度评估模型

数据治理成熟度评估是利用标准的成熟度评估工具结合行业最佳实践,针对企业的数据治理现状进行的客观评价和打分,找到企业数据治理的短板,以便制定切实可行的行动方案。数据治理成熟度结束后形成初步的行动方案,一般包括数据治理战略,数据治理指标,数据治理规则,数据治理权责。数据治理愿景和使命是数据治理的整体目标;数据治理指标定义了数据治理目标的衡量方法;数据治理规则和定义包括与数据相关的政策、标准、合规要求、业务规则和数据定义等;权利和职责规定了由谁来负责制订数据相关的决策、何时实施、如何实施,以及组织和个人在数据治理策略中该做什么。

目标:结合业界标准的数据治理成熟度模型,根据企业管理和业务需求进行数据治理成熟的评估,形成初步的数据治理策略和行动路线。

技术工具:数据治理评估模型,例如:DCMM,CMMI DMM,IBM数据治理成熟度评估模型等;

输入:第2步的输入以及数据治理评估模型、数据治理评估工具(评估指标、打分表等);

输出:数据治理评估结果,数据治理策略,初步的行动方案;

4、数据质量问题根因分析

数据治理的目的是解决数据质量问题提升数据质量,从而为数据驱动的数字化企业提供源动力,而提到数据质量问题,做过BI、数仓的同学一定知道,这是一个技术和业务“经常打架”相互推诿的问题。

某企业数据问题根因分析鱼骨图

产生数据质量问题的原因有很多,有业务方面的、有管理方面的、也有技术方面的,按照80/20法则,80%的问题是由20%的原因造成起的。所以,如果能够解决这20%的问题,就能得到80%的改进。

目标:分析并找到数据质量问题产生的根本原因,制定行之有效的解决方案;

技术工具:头脑风暴、5W1H、SWOT、因果(鱼刺)图、帕拉图等;

输入:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估结果;

输出:数据质量评估结果、对业务的潜在影响和根本原因。

5、业务影响及实施优先级评估

通过数据治理成熟度评估,从组织、流程、制度、人员、技术等方面找到企业在数据治理的待提升的领域和环节,再通过数据质量根因分析找到数据质量问题发生的根本原因,进一步明确了数据治理的目标和内容。再接下来,就需要确定数据治理策略,定义数据治理的实施优先级。

某企业主数据治理实施优先级评估

不同的数据治理领域解决的是不同的问题,而数据治理的每个领域都有它的实施难点,对企业来说,需要从业务的影响程度,问题的紧急程度、实施的难易程度等多个维度进行分析和权衡,从而找到符合企业需求并满足企业发展的方案。

目标:确定数据治理核心领域和支撑体系的建设/实施优先级;

技术工具:四象限法则(分别从业务影响程度/实施难以程度,问题重要程度/问题紧急程度绘制优先级矩阵)、KANO模型

输入:数据治理成熟度能力评估结果、数据质量问题根因分析结果;

输出:数据治理实施优先级策略

6、制定数据治理行动路线和计划

路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变化的步骤或技术相关环节之间的逻辑关系。路线图是一种目标计划,就是把未来计划要做的事列出来,直至达到某一个目标,就好像沿着地图路线一步一步找到终点一样,故称路线图。

某企业数据治理实施路线图

企业数据治理的实施路线图的制定是以企业数据战略——愿景和使命为纲领,以急用优先为原则,以分步实施为策略进行了整体设计和规划。实施路线图主要包含的内容:分几个阶段实施,每个阶段的目标、工作内容、时间节点要求、环境条件等。笔者观点:任何一个企业的数据治理都不是一蹴而就,一步到位的,需要循序渐进、持续优化!实施路线图就是基于此产生的,因此说数据治理实施路线图也是说服利益相关者支持的一个重要手段。

目标:确定数据治理的阶段以及每个阶段的目标;

技术工具:路线图法

输入:数据治理成熟度能力评估结果、业务影响及实施优先级评估结果;

输出:数据治理实施路线图或称阶段目标计划

7、制定数据治理详细实施方案

数据治理详细实施方案是用于指导主数据的各项实施工作,一般包括:数据治理核心领域、数据治理支撑体系、数据治理项目管理三个方面。

数据治理总体框架图

数据治理核心领域包括:数据架构、数据服务、元数据管理、数据质量管理、数据标准管理、主数据管理、数据安全管理、数据生命周期管理。

数据治理支撑体系包括:组织(组织架构、组织层次、岗位职责)、制度(管控模式、规章制度、考核机制)、流程(归口部门、管理流程、流程任务等)、技术(数据集成、数据清洗、数据开发、数据应用、数据运营、支撑平台、实施方案等)。

数据治理项目管理方案包括:项目组队、项目计划、质量保证计划、配置管理计划、培训和售后等。

关于数据治理的核心领域,详见笔者之前分享的数据治理框架解读系列文章。

关于数据治理的支撑体系,详见笔者之前分享的数据治理成功关键要素系列文章。

目标:基于数据质量根因分析、业务影响和实施优先级评估结果,制定详细实施方案;

输入:业务影响及实施优先级评估结果,行动路线和计划;

输出:数据治理详细实施方案。

8、数据治理实施过程控制

数据治理实施过程控制是对数据治理项目的范围控制、进度控制、质量控制和成本控制,通过对企业的各项资源的合理协调与利用,而达成的数据治理目标的各种措施。从项目管理的角度来讲也是项目管理的黄金三角:范围、时间、质量、成本。

任何项目的质量和进度是需要良好的项目管理来保证的,数据治理也一样。与传统的软件工程项目不同,数据治理项目有着范围边界模糊、影响范围广、短期难见效、实施周期长等特点:

①范围边界模糊,数据治理涉及到的关键领域如元数据管理、数据质量管理、数据标准管理、主数据管理等很多是存在交叉的,边界很难界定,例如:实施数据质量管理项目,会涉及元数据管理、数据标准管理等,同样一个元数据管理项目也会涉及数据标准和数据质量。

②影响范围广,数据治理的实施不是一个部门能够完成的,是需要从高级管理层、到各业务部门、信息部门通力协作,共同完成的;

③短期难见效,数据治理项目实施完成后,其数据治理的效果被每个业务点滴 *** 作所“稀释”,并不像其他项目,例如BI,那样明显的体现出来,所以主导数据治理的部门会经常遭到质疑。

④实施周期长,在没有清晰的数据治理目标和范围约定的情况下,数据治理是一个“无底洞”。所以,在实施数据治理项目之前制定好实施路线图和详细的实施方案就显得格外重要(第6、7步)。

目标:通过对数据治理项目实施过程的进度控制、质量控制和成本控制以实现数据治理的目标;

技术工具:PP(项目计划)、PMC(项目控制)、IPM(集成项目管理)、RSKM(风险管理)——CMMI过程域;

输入:6-7步的输出:数据治理实施路线图,数据治理详细实施方案;

输出:各项项目控制措施,例如:项目计划、SOW、项目风险列表、项目报告、项目总结等;

9、监控评估数据治理实施效果

随着大数据技术的不断发展,应当从企业的全局数据治理环境的角度,明确数据治理关键技术运用及其标准规范,构建成效评估指标体系,进行治理效果评价;并运用数据治理能力成熟度模型再次评估,界定数据管理层次,从而使得跨系统、跨业务、跨部门的数据治理体系的建设与实施能够通过各方协作顺利进行,实现卓越数据治理,进而通过数据驱动业务、数据驱动管理和运营以实现企业的降本、增效、提质、创新。

某企业数据治理看板(数据已脱敏)

数据治理成效评估指标体系应根据企业及数据治理项目的实际情况制定,一般包括:时间性、数量性、完整性、准确性四个维度。

①时间性即数据的及时性。该维度主要通过源业务系统数据接入的上报及时性、接入及时性等方面进行核对。通过分析月指标、周指标、日指标的数据及时率,得出在规定时间和频度周期内接入系统的比例,以此反映数据接入及时性。

②数量性。该维度是从数据存量,数据增量,数据访问量,数据交换量、数据使用量等指标反映数据的使用情况,可以分为月度指标、周指标、日指标、时分指标等。

③准确性。这个维度主要由各类数据中逻辑的准确性、数据值的准确性、数据频段和字段之间的准确性以及数据的精度等内容组成。该准确率同样包括:月度、每周、每日等准确率指标。 

④完整性。此维度主要以单元维度完整性、数据业务维度组合完整性、索引值完整性等不同方面进行核对,是验证数据质量完整性的主要组成部分,包括月度指标、周指标、日指标数据的完整性等内容。 

目标:检验各项数据治理指标的落实情况,查漏补缺,夯实数据治理效果;

技术工具:数据治理效果的评价指标体系、各种数据图表工具;

输入:数据治理效果评估指标;

输出:数据治理评估的月报、周报、日报等;

10、数据治理持续改进

数据治理模式应业务化、常态化,不应是一个项目、“一阵风”的模式。

图片源自互联网

数据治理工作应向企业生产、销售业务一样作为一项重点的业务工作来开展,构建专业的数据治理组织,设置合适的岗位权责,建立相应的管理流程和制度,让数据标准贯彻到每个业务环节,形成一种常态的工作。在笔者看来,在数据源头加强企业数据的治理,让常态化治理成为日常业务,才能从根本上彻底解决企业数据质量的各种问题,让数据真正转化为企业资产,以实现数据驱动流程优化、数据驱动业务创新、数据驱动管理决策的目标。

目标:数据治理常态化,持续提升数据质量,驱动流程优化和管理创新。

输入:持续的、规范的、标准的各项业务 *** 作;数据治理监控的各项指标和报告;

输出:持续输出的高质量的数据;

博主观点:原理大家都懂,实践时困难重重。在专家的指导下,应用适当的工具可让理论转化为现实。华矩科技,专业的数据治理服务与技术提供商。

由于大多数系统和应用程序会持续不断接收到新数据,数据量也在不断增加,因此确保数据质量并不是一次就能完成的。所有企业都应该使用一种反复进行的阶段性过程来管理数据质量,此过程包括数据质量评估、规划以及策略的选择和实施。

第一步对数据质量进行评估。评估当前的数据质量状态是第一步。对数据质量进行评估能帮助企业准确地了解数据的内容、质量和结构。主管人员参与数据质量评估以及分析在数据检查过程中发现的问题对于数据质量评估来说都很重要。在最有效的数据质量评估中,所有问题都将按照对业务影响从大到小的顺序列出,这将帮助IT机构节省项目成本。

第二步,制订数据质量计划。彻底了解企业数据的内容和质量后,接下来的步骤是制订一个计划,来修改当前的错误并避免未来错误的发生。有效的计划不但可以提高企业当前所有应用程序中数据的质量,还将制定一些方式以确保新应用程序从一开始就遵循数据质量规则。

第三步,选择和实施数据质量策略。选择改善企业数据质量的策略,要求决策者权衡每个数据质量计划的成本以及该策略产生的影响。目前的策略类型有两种: 在企业输入数据时提高数据质量的方法称为“上游”方法,而从运营系统提取数据的应用程序(如数据仓库)中改善数据质量的方法是“下游”方法。

上游策略研究当前应用程序的逻辑、数据和流程,解决检查过程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加更好的表验证、改善与数据输入相关的流程,它致力于企业数据的高准确性。另外,此策略还要求使用应用程序本身附带的数据质量功能。

下游策略解决目标应用程序或数据仓库(而非数据源)中的数据质量问题。由于数据可以根据需要随时进行修改,所以企业能够在流程(尤其是数据转换、名称和地址清洗以及查找验证)中改善数据质量。下游策略仅为目标应用程序或数据仓库改善数据质量,但与上游策略相比,它的实施过程更简单,成本更低。

1. 建立数据的标准,明确数据的定义。

通常,独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行,这些系统的用户必须在数据的标准和数据的定义上达成一致。不过,这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此,需要从整个企业的角度出发,建立统一的数据标准和数据定义,同时,整个企业必须就这个数据标准和数据定义达成共识。这一句话说起来容易做起来难。因为人通常本能地会拒绝改变,改变数据标准和定义并不是轻而易举的。为此,强烈建立在企业中除了设立一个高管级别的数据质量管理委员会外,还需要选定一个执行能力强的项目负责人,需要他推动相关人员接受新的`数据标准和定义。

在具体建立新的数据标准和数据定义时,需要仔细权衡,哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的,哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言,前者更容易执行一些。

2. 建立一个可重复的数据收集、数据修改和数据维护流程。

数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日,因此,企业在制订数据质量的保证措施和数据质量指标时,必须保证这些措施和指标能够不断重复。

3. 在数据转化流程中设立多个性能监控点。

数据的质量高低可以根据最终用户的需求来评价,也可以通过与同类数据源的比较来评价,还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时,比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是,等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较,从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度,那么,这些中间指标的达标也预示着项目的最终成功。

4. 对流程不断进行改善和优化。

我们常常听到有人说,他们制订了很多办法来迅速而且大幅度提升数据的质量,但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情,而是一个持续的过程。正确的办法是通过一个不断改进的流程,持续不断地排除错误、对数据进行整合和标准化,最后达到流程的自动化,从而降低数据质量保证计划的总体开销。实际上,排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是,作为该项目的负责人,不能墨守成规,仅仅因为自己以前一向采用某种方法,就要求别人也必须采用这一方法,特别是当发现这些方法成本高昂的时候,就应该考虑换一种方式了。

5. 把责任落实到人。

通常,我们认为那些与数据的产生、维护相关的人员是负责任的,但是,很有可能,他们有很多其他的工作要做,因此作为数据质量的负责人光有善良的想法是难以提高数据的质量,很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人,应该给他们的活动制订明确的指标,这样他们才能真正理解人们到底希望他们达到什么目标。更重要的,他们还需要针对这些指标细化对他们自己的要求,当然,他们会因为达到或者超过这些指标而得到奖励。其中,一个执行力强的负责人的价值体现出来,他会针对具体情况适时调整数据质量的目标。

最后,再次强调考虑与数据管理和数据质量的改进项目有关的人的因素,他们的行为是非常重要的。从某种程度上说,要比具体选择什么软件要重要得多。上述5点有助于帮助组织规范数据质量管理中与人有关的流程。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/8914345.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-22
下一篇 2023-04-22

发表评论

登录后才能评论

评论列表(0条)

保存