大数据时代如何做好数据治理

大数据时代如何做好数据治理,第1张

问题描述 信息化的管理制度体系如何构建 信息化的制度建设很重要,我们的企业虽然也重视,但由于缺乏系统性,指定的制度不够完善,实施起来也有难度,各位专家能否给点意见。 提问人:蜘蛛侠 时间:Oct 28, 2009 4:27:53 PM 专家解答解答人:罗艳兵 时间:09/10/28 16:28:16 您提得问题比较模糊,我也只能给出我自己一点不成熟的建议。 信息化建设和推进中,深层次机制上的矛盾和问题,受到企业越广泛的关注。这些问题包括:如何将IT战略与业务战略相融合如何从公司治理的高度,对企业信息化做出制度安排如何从战略投资、企业管理变革的角度,降低信息化的风险信息中心如何转制与发展哪一种CIO的治理机制更好如何进行信息系统的绩效评估如何对IT服务进行管理如何利用发达国家和本国信息化的最佳实践,指导行业和企业的信息化推进等工作 这表明信息化是一个需要从治理层面予以关注的战略问题;信息化需要监管、制衡和审计;信息化管理需要规范和标准。这需要企业从制度、战略、规范和标准的高度,重新看待IT的定位、作用和价值。同时,建造一个信息系统是容易的,让这个系统有效地运转起来则是现实的难题。决定信息系统是否有效运转的因素不是信息技术,而是制度、组织结构、规则与标准,最终是人。因此,在这些因素之上,需要合理有效的制度安排。不仅需要面向技术平台的、应用功能、开发流程、实施管理流程的管理规范,还需要一个面向信息化建设整个过程的、具有普遍意义的管理模型。 由此,我们认识到良好的IT治理对信息化建设成功的重要性,也可以说建立现代企业制度及良好的IT治理是信息化建设成功的必要条件。以"IT治理"为核心,涵盖信息系统审计、信息安全管理、IT服务管理及IT项目管理,着重研究IT发展与企业发展在治理结构、企业战略、企业运营管理、风险与价值、成本与控制、审计与监管、服务标准和规范等方面的新问题、新知识和新方法。 网友解答解答人: 时间:09/11/11 16:33:02 信息化是美帝主义的亡我之心。我们用的 *** 作系统,还有一些信息化产品,比如IBM等,都是外国的,我们企业的信息化,都建立在这些外国软件的基础上,信息安全如何保障长此以往,等我们进入信息化的中级,甚至是高级阶段,完全依赖信息化后,危害将更大吧。所以我觉得,还是要支持国产软件。

IT治理并没有想像得那样复杂和虚无缥缈。我们并不需要从成百上千种IT治理模式中煞费苦心地寻找一条适合自己的模式。埃森哲公司创建了一种IT治理模式,该模式为组织建立有效的IT治理提供了一张路线图。

IT治理的概念引入到国内已经有三年多的时间了,虽然媒体、IT企业及一些专家学者在不断呼吁IT治理的重要性,但将IT治理从理论推进到实践层面的案例还鲜有所闻。之所以会如此,组织缺乏IT治理的 *** 作指南应该是一个重要原因。

我们不能停留于对于IT治理概念的玩味和寻究,从某种程度上来讲,IT治理的定义的抽象晦涩已经影响了组织对于IT治理的接受,并直接伤害了IT治理的实践 *** 作性,现在是到了为IT治理寻找一条切实可行的 *** 作路径的时候。

实际上,IT治理并没有想像得那样复杂和虚无缥缈。我们并不需要从成百上千种IT治理模式中煞费苦心地寻找一条适合自己的模式。埃森哲公司创建了一种IT治理模式,该模式为组织建立有效的IT治理提供了一张路线图。本文将对该模式作一个介绍。

简单地讲,IT治理关注两个方面的问题,即IT治理的“什么”和“谁”。IT治理的“什么”是指IT治理应该作出哪些决策,IT治理的“谁”则是指这些决策分别应该由谁来作出。

那么,IT治理到底应该作出哪些决策呢要找到这个问题的答案,必须先搞清楚一个问题,那就是组织到底需要IT发挥什么样的作用。不要想当然地以为这是一个可以简单回答的问题。实际上,不同的组织对于IT的需要是不一样的。组织到底需要IT做什么,在很大程度上取决于它处于一个什么样的商业环境。

商业特征决定IT需求

走向IT治理的第一步就是,要对组织处于什么样的商业环境进行正确的分析。

埃森哲公司的IT治理模式通过两个指标来对组织的商业环境进行分析:变化的速度和竞争的基础。

变化的速度。某些企业处在一个变化较快的行业,如半导体企业和电信企业。在这样的行业,消费者的需求和偏好经常改变,产业政策也时常推陈出新,时不时出现的新技术会一下子改变整个产业价值链;而另外一些行业的发展状态则相对稳定,不会有那么快的变化,如航空业。在这样的行业,消费者的需求、竞争格局、政府管制、技术及供应商等方面的变化都是缓慢发生的。

竞争的基础。从竞争的基础来看,企业可以分为两类。一类企业以运营效率为基础进行竞争。对于这类组织来说,重点在于降低成本,以及优化现有的商业模式以应对竞争;另一类企业以产品和服务的差异性为竞争的基础。这类企业力求先于竞争对手提供新的商业能力,或者是开创新的商业模式,以此获得竞争优势。

根据以上两个指标,可以将组织分为四类。

A类组织处于变化不快的行业,以运营效率为竞争基础;

B类组织处于变化不快的行业,以产品服务的差异化为竞争基础;

C类组织处于变化快的行业,以运营效率为竞争基础;

D类组织处于变化快的行业,以产品服务的差异化为竞争基础。

这四类不同的组织因其业务特点的不同而对IT产生不同的需求。

A类组织发展的关键在于严格控制成本,因此这类企业希望利用IT来保持低成本,通过如外包这类节省成本的方法来提供成熟的能力。

B类组织的管理层期望利用信息来提高决策能力,并开发新的产品和服务,以高收入来抵消不断增长的IT支出。

C类组织按优先次序制定IT投资计划以及长期能力的路线图,它们在对成本进行有效管理的同时,根据路线图,运用IT来实现计划中的新能力,以满足市场不断变化的需求。

D类组织期望IT具有高度的灵活性,以满足迅速变化的商业策略和要求。这类企业倾向于提供创新的IT解决方案,以获得先发优势,因此它们的IT投资重点在于创造新的能力。

IT治理的决策范围

一旦组织明确了自己对于IT的需求,那下一步就要解决IT治理作哪些决策的问题,也就是前文所说的IT治理的“什么”。IT治理的决策范围一般包括以下五个方面。

组织模式:组织是采取集权、分权还是混合的模式

投资:组织将投资于什么投多少

架构:组织是着重于稳定性还是灵活性这两者各到什么程度应用系统是向外购买还是内部开发是建立一个综合性的ERP系统还是多种系统

标准:组织需要将什么技术标准化,采用什么标准

资源:IT组织将利用什么类型的资源这些资源的来源是什么

对于A类组织,其首选的组织模式应该是集权式治理,IT对于预算和决策负有责任。加拿大邮政公司就采用这种方法,该公司坚持一种简单化的组织模式,有一个集权部门来对公司行为进行优先排序,并通过单一的IT资源来完成。

在标准的决策方面,A类组织谋求在全组织范围内加强架构、技术和供应商的标准化,只是在一些被证明是正当的例外的情况下才允许有所背离。一家大型的法国保险公司就是这方面的一个例子。该公司在集团范围内对IT架构实行了标准化,因此它可以优化其核心的IT流程,整合系统支持其非寿险业务,移植数据,配置新的系统以支持其健康险业务。

在资源决策方面,A类组织善于利用内外部资源的组合,通常会与少量的几家优选的服务提供商达成服务协议。当某个全球性的化学品公司认为IT并非其核心业务时其,便将整个IT运作外包出去,包括其ERP系统全球范围内的实施和支持。

IT治理

公司治理主要关注利益相关者权益和管理,包括一系列责任和条例,由最高管理层(董事会)和执行管理层实施,目的是提供战略方向,保证目标能够实现,风险适当管理,企业的资源合理使用。

公司治理,驱动和调整IT治理。同时,IT能够提供关键的输入,形成战略计划的一个重要组成部分,这被认为是公司治理的一个重要功能——IT影响企业的战略竞争机遇。

IT治理和公司治理关系图

IT治理的一个关键性问题是:公司的IT投资是否与战略目标相一致,从而构筑必要的核心竞争力。因为企业目标变化太快,很难保证IT与商业目标始终保持一致,因此需要多方面的协调,保证IT治理继续沿着正确的方向走,这也是IT投资者真正关心的问题。对IT治理而言,要能体现未来信息技术与未来企业组织的战略集成。既要尽可能地保持开放性和长远性,以确保系统的稳定性和延续性;同时又因为规划赶不上变化,再长远的规划也难以保证能跟上企业环境的变化。IT治理中一个相对有效的做法是,在信息化规划时,认真分析企业的战略与IT支撑之间的影响度,并合理预测环境变化可能给企业战略带来的偏移,在规划时留有适当的余地,从业务战略到信息战略,做务实的牵引,不要追求大而全。

IT治理有助于建立一个灵活的、具有适应性的企业。IT治理能够影响信息和指示:企业能够感知市场正在发生的事,使用知识资产并从中学习,创新新产品、服务、渠道、过程;迅速变化,将革新带入市场,衡量业绩。IT治理应该体现“以组织战略目标为中心”的思想,通过合理配置IT资源创造价值。企业治理侧重于企业整体规划,IT治理侧重于企业中信息资源的有效利用和管理。

企业目标在于远景和商业模式,IT目标在于商业模式的实施。

企业目标与IT目标之间的关系如下图所示:

IT治理主要涉及两个方面:IT要为企业交付价值,IT风险要降低。前者受IT与企业的战略一致性驱动,后者由责任义务落实到企业驱动。这两者都需要衡量,如使用平衡计分卡。这就可以看出IT治理的四个核心领域,都是由利益相关者价值驱动的,其中两个是成果:价值交付和风险降低,另外两个是驱动力:战略一致性和业绩衡量。

概括地说,公司治理和IT治理都是市场(含政府)他律的机制,是如何“管好管理者”的机制,其目标也是一致的:达到业务永续运营,并增加组织的长期获利机会。无论大环境是好是坏,最高管理层(董事会)均应以达成其目标为责任,而且管理阶层需有能力协助其达成目标,因此最高管理层(董事会)必须常常监督管理部门对决策判断与政策实施的绩效。

“斯达模式”这一被誉为国企摆脱困境、改革发展的创新模式,正说明了公司治理和IT治理的重要性和互动关系。“黑纸”利用合资契机,对产权体制进行了改革,并按照现代企业制度要求,建立与市场竞争相适应的公司治理机制,明晰了企业产权,优化了生产要素配置,转变了职工观念,为斯达大力进行信息化改造创造了有力条件。反过来,信息化也促进了公司的现代化管理。

IT治理和IT管理

IT管理是公司的信息及信息系统的运营,确定IT目标以及实现此目标所采取的行动;而IT治理是指最高管理层(董事会)利用它来监督管理层在IT战略上的过程、结构和联系,以确保这种运营处于正确的轨道之上。这是一个硬币的两面,谁也不能脱离谁而存在。可见,IT管理就是在既定的IT治理模式下,管理层为实现公司的目标而采取的行动。

IT治理规定了整个企业IT运作的基本框架,IT管理则是在这个既定的框架下驾驭企业奔向目标。缺乏良好IT治理模式的公司,即使有“很好”的IT管理体系(而这实际上是不可能的),就像一座地基不牢固的大厦;同样,没有公司IT管理体系的畅通,单纯的治理模式也只能是一个美好的蓝图,而缺乏实际的内容。就我国信息化建设目前的现状而言,无论是IT治理,还是IT管理都是我们所迫切需要解决的。

浅析IT治理框架的三个支柱

一旦IT领导理解了IT治理框架的三个支柱,他们对于IT治理为什么如此重要,以及哪一种方法可以最好地帮助他们达成治理目标,就会有更好的理解。

IT治理是目前很多人都在谈论的一个话题。确实,一些技术供应商和咨询顾问已经将IT治理纳入一个最新的热门的销售范畴。然而,以他们所销售的产品和服务的范围为基础,已经出现了IT治理的种种定义,这在一定程度上给市场带来了混乱。

那么,对于如今这个最热门的企业治理方面的概念,业务和IT领导从哪里可以获得一个单一而又全面的定义呢?

基于ITGI、正在形成的产业标准、客户最佳实践及思想领导者的工作,第一流的分析师现在都在强调IT治理框架的三个支柱的模式。这一框架强调确保IT在支持业务目标、优化商业技术投资及合理管理IT相关风险和机会中的重要性。

在CIO和IT领导看来,由于可以为组织走出烦恼多时的没完没了的支出、扩展、补丁、再支出的循环提供一个清楚的路径,这三个支柱的模式和与之相应的IT治理成熟度模型正在迅速地获得动力。

有了IT治理这一框架,IT投资所带来的价值可以获得理解,实现技术投资和业务目标需求之间的联结也有了明确的方法。在来自管理层和董事会的压力越来越大的情况下,IT组织不能仅依靠理论—他们需要能发挥作用的治理。

IT治理框架的三个支柱

对于任何想抓住这种前瞻性的IT方法所带来的利益的组织而言,这一成形的IT治理框架都是适用的。这个框架包括三个主要的组成部分,具体表现为“计划/构造/管理”三个生命周期,通过一个不断进行的连结这三个要素的反馈环,使得IT变革成为可能。这三个支柱是:

企业架构计划,包括:

企业架构造型和管理

战略性的IT计划和路线图

标准管理

投资组合合理化,包括:

应用系统和基础设施的合理化

项目-投资分析

合并和收购运营整合

服务融合,包括:

服务提供管理

业务关系管理

供应商和外包商管理

IT财务管理IT

塞班斯-奥克斯莱法案(Sarbanes-Oxley)和其他法规遵从的问题

业务连续性计划

一旦IT领导理解了这三个支柱,他们对于IT治理为什么如此重要,以及哪一种方法可以最好地帮助他们达成治理目标,就会有更好的理解。例如,在项目投资管理和系统管理领域,一般的供应商只会致力于整个框架的一部分。对IT治理问题需要有一个全面的解决方案,这一需求已经越来越表现出来了。

IT治理解决方案

Troux是惟一能提供有效的IT治理系统的企业,同时,它还能提供全面的可以连结业务和自动工作流,及自动化的策略管理系统。为了解决CIO们今天面临的最具挑战性的IT治理问题,Troux的解决方案提供了基础,并且横跨IT治理框架的三个领域。

企业架构:使得企业建造师可以完全模仿符合未来需要的架构,并且提供创造和管理与架构相协调的标准和路线图的能力。

投资合理化:为IT执行人员提供确保应用、基础设施、服务和项目投资与业务和成本优化相协调的可视度和工具。

服务管理:使IT组织可以实现对业务服务的自动化定义和管理,并确保关键业务、遵从和业务连续性目标的一致。

有了以上各种解决办法,Troux带来了帮助CIO和IT执行人员实现IT治理所需要的深入的专业知识、最佳实践和成熟的模式。

结论

正如IT治理已经位居CIO日程表的前列,经理人员们也已经发现,最佳实践和方法的标准还没有准确的定义—到现在这一状况才有所改变。

Troux的技术为CIO和IT经理有效计划、构建和管理他们的IT运作,提供了所需要的最佳实践和方法。

链接

如何看待IT治理的角色

“对于CIO来说,IT治理意味着组织结构、决定过程和一种在企业内加强控制的信息基础。”位于斯坦福的Meta集团的分析师Val Sribar说。

走向IT治理最重要的一步是“发展一种可以自信地进行关键资产、财务和遵从的决策的信息基础。”Sribar又说,“业务和技术架构的可见度对于企业管理和成长是关键性的。”

幸运的是,IT经理为了达成治理目标可以获得帮助。“像Troux这样的供应商已经出现,并填补了治理流程和IT运营之间的空白。”Sribar说

IT治理的标准

目前国际上通行的IT治理标准主要有四个:ITIL 、COBIT、ISO/IEC17799和PRINCE2。

(1)ITIL

ITIL(Information Technology Infrastructure Library):即信息技术基础构架库,一套被广泛承认的用于有效IT服务管理的实践准则。1980年以来,英国政府商务办公室(GOC,原称政府计算机与通信中心)为解决“IT服务质量不佳”的问题,逐步提出和完善了一整套对IT服务的质量进行评估的方法体系,叫做ITIL。2001年,英国标准协会在国际IT服务管理论坛(itSMF)上正式发布了以ITIL为核心的英国国家标准BS15000。这成为IT服务管理领域具有历史意义的重大事件。

(2)COBIT

COBIT(Control Objectives for Information and related Technology):即信息系统和技术控制目标。成立于1969年的美国信息系统审计与控制协会ISACA,于1996推出了用于“IT审计”的知识体系COBIT。“IT审计”已经成为众多国家的政府部门、企业对IT的计划与组织、采购与实施、服务提供与服务支持、监督与控制等进行全面考核与认可的业界标准。相应地,“注册信息系统审计师”(CISA)日益成为世界各国发展信息化过程中,争相发展的新兴职业和领域。作为IT治理的核心模型,COBIT包含34个信息技术过程控制,并归集为四个控制域:IT规划和组织(Planning and Organization)、系统获得和实施(Acquisition and Implementation)、交付与支持(Delivery and Support)以及信息系统运行性能监控(Monitoring)。 COBIT 目前已成为国际上公认的IT管理与控制标准。

(3)BS 7799

BS 7799(ISO/IEC17799):即国际信息安全管理标准体系,2000年12月,国际标准化组织ISO正式发布了有关信息安全的国际标准ISO17799,这个标准包括信息系统安全管理和安全认证两大部分,是参照英国国家标准BS7799而来的。它是一个详细的安全标准,包括安全内容的所有准则,由十个独立的部分组成,每一节都覆盖了不同的主题和区域。

由英国标准协会(BSI)编写的信息安全管理体系标准BS 7799-Part 1 (ISO 17799) 及BS 7799-Part 2为各种机构、企业进行信息安全管理提供了一个完整的管理框架。这一套‘姊妹对’标准引导机构、企业建立一个完整的信息安全管理体系,对信息安全进行动态的、以分析机构及企业面临的安全风险为起点对企业的信息安全风险进行动态的、全面的、有效的、不断改进的管理,并强调信息安全管理的目的是保持机构及企业业务的连续性不受信息安全事件的破坏,要从机构或企业现有的资源和管理基础为出发点,建立信息安全管理体系(ISMS),不断改进信息安全管理的水平,使机构或企业的信息安全以最小代价达到需要的水准。保护信息安全,建立信息安全管理体系是机构或企业营运的重要工作之一,尤其是BS 7799-2: 2002是目前最完整的参考依据,它以“计划(Plan)、实施(Do)、检查(Check)、行动(Action)”模式,将管理体系规范导入机构或企业内,以达到“持续改进”的目的。

(4)PRINCE2

PRINCE2(Projects In Controlled Environments)是一种对项目管理的某些特定方面提供支持的方法。PRINCE2描述了一个项目如何被切分成一些可供管理的阶段,以便高效地控制资源的使用和在整个项目周期执行常规的监督流程。PRINCE2的视野并不仅仅限于对具体项目的管理,还盖了在组织范围对项目的管理。

在这里,我们重点对COBIT进行介绍:

COBIT的全称是“Control Objectives for Information and related Technology”,上世纪90年代早期由IT治理协会提出,至今(2005年)已是第三版,COBIT目前已成为国际上公认的IT管理与控制框架,已在世界一百多个国家的重要组织与企业中运用,指导这些组织有效地利用信息资源,有效地管理与信息相关的风险。

COBIT有6个组件:

- Executive Summary

- Management Guidelines

- Framework

- Control Objectives

- Implemenation Toolset

- Audit Guidelines

COBIT型是企业战略目标和信息技术战略目标的桥梁,使得信息技术目标和企业战略目标之间实现互动。

该框架的意义在于:COBIT实现了企业目标与IT治理目标之间的桥梁作用。

首先,COBIT考虑了企业自身的战略规划,对业务环境和企业总的业务战略进行分析定位,并将战略规划所产生的目标、政策、行动计划作为信息技术的关键环境,并由此确定IT准则。

IT为企业战略提供了基于技术的解决方案,为满足业务战略需求提供了技术与工具。在IT准则的指导下,利用控制目标模型,分别从规划与组织、获取与实施、交付与支持、监控等过程进行控制、管理信息资源。在IT管理的同时,引入审计指南,从而保证IT资源管理的安全性、可靠性和有效性。

COBIT实现可跟踪的业绩衡量,通过平衡记分卡可以在财务(企业资源管理)、客户(客户关系管理)、过程(内部网,工作流工具)、学习(知识管理)等方面维持平衡,评价企业目标的实现情况以及IT绩效,并调整业务目标和IT战略,进行持续的IT管理。

COBIT采用成熟度模型,可以定位自己企业的IT管理目前在业界所处的位置,以及未来努力的方向,通俗地说就是给IT管理“打分”。

COBIT还提供了目前最佳案例和关键成功因素(CSF),供企业和组织借鉴。

从内容上看,COBIT覆盖了从分析&设计到开发&实施到运营、维护的整个过程。对于分析&设计,重点目标是IT与业务的需求,根据业务目标细化IT战略,确定待开放的IT系统,进行相应的系统分析和设计。在分析与设计这样一个流程范围中,比我们传统所说的信息系统的分析与设计要宽广得多,它强调的是IT的战略要符合业务的战略,任何信息系统的开发都应该与业务战略保持精确的校准。从业务战略的高度来分析和设计信息系统。提供这个阶段主要是考察组织的需求,同时根据这些需求设计合理的资源组合,设立合理的服务级别、目标,提供满足客户需求的IT服务。这个阶段对IT应用已上升到IT服务管理的阶段。主要解决下面的问题,为满足客户的需要提供哪些资源,这些资源之间的成本是多少,如何在服务成本和服务的效益间达到一个恰当的平衡点。在支持这个层面,主要是如何满足客户提出的IT需求,以支持服务的需求。 COBIT上层是对IT运行进行外部控制和内部审计,以确保IT与业务实现精确校准,同时实现对IT应用持续不断的应用和改进。COBIT覆盖整个信息系统的全部生命周期,其视野是最为开阔的。

概括而言,COBIT的主要优点如下:

COBIT是一个非常有用的工具,也非常易于理解和实施,可以帮助企业在管理层、IT与审计之间交流的鸿沟上搭建桥梁,提供了彼此沟通的共同语言。几乎每个机构都可以从COBIT中获益,来决定基于IT过程及他们所支持的商业功能的合理控制。当我们知道这些业务功能是什么,其对企业的影响到什么程度时,就能对这些事件进行良好的分类。所有的信息系统审计、控制及安全专业人员应该考虑采用COBIT原则。

通过实施COBIT,增加了管理层对控制的感知及支持。COBIT帮助管理层懂得如何控制影响、业务功能。COBIT提供的实施工具集包括优秀的案例资料(提供模板业务过程,使得优秀范例能够迅速移植),有助于向管理层很好地表述IT管理概念。管理层在基于最佳控制实践基础上做出正确决策的能力亦得到了提高。

COBIT使IT管理工作简易并量化,减轻对复杂信息系统管理工作的难度。对于那些不具有广博IT知识的人来讲,是一个认清信息技术的有价值的工具。它也使得信息系统审计师具有与IT专业人员相同的专业广度,并且可以询问IT工程相关的问题。

COBIT提供了一种国际通用的IT管理及问题解决方案,普遍适用于各种不同的业务项目和审计,并且既包容了当前的情况,也提供将来可能会使用到的指导方针。

COBIT有助于提高信息系统审计师的影响力,依据COBIT出具的信息系统审计报告,更容易得到管理层的肯定。

COBIT框架可以能够帮助决定过程责任,提高IT治理水平。通过应用该框架进行责任分析,可以做到基于角色的IT管理,定义过程措施,确保客户利益。

总之,COBIT模型实现了企业战略与IT战略的互动,并形成持续改进的良性循环机制,为企业提供了具有一定参考价值的解决方案。因此,针对我国信息化存在的问题,借鉴COBIT的IT治理思想和框架,科学、系统地对信息及相关技术进行管理,逐步试行建立IT治理机制,对推动我国信息技术的发展和应用具有十分重要的现实意义。

企业数据分析系统的数据来源是各个业务系统或手工数据,这些数据的格式、内容等都有可能不同。如果不进行数据治理,数据的价值难以发挥。只有对数据标准进行规范,管理元数据、数据监控等,才能得到高质量的数据。得到规范的数据后,才可在此基础上进行主题化的数据建模、数据挖掘、数据分析等。

2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划、POC尤其风生水起,带动了一波大数据应用的热潮,这个热潮和当初数据仓库进入中国时的2000年左右很相似:应用还没有想好,先归集一下数据,提供一些查询和报表,以技术建设为主,业务推动为辅。这就导致了这股Hadoop热潮起来的时候,传统企业都是以数据归集为主的,而BAT这样的企业则天生以数据为生,早早进入了数据驱动技术和业务创新的阶段。

随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。 睿治数据治理平台平台架构

元数据:采集汇总企业系统数据属性的信息,帮助各行各业用户获得更好的数据洞察力,通过元数据之间的关系和影响挖掘隐藏在资源中的价值。

数据标准:对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,并通过标准评估确保数据在复杂数据环境中维持企业数据模型的一致性、规范性,从源头确保数据的正确性及质量,并可以提升开发和数据管理的一贯性和效率性。

数据质量:有效识别各类数据质量问题,建立数据监管,形成数据质量管理体系,监控并揭示数据质量问题,提供问题明细查询和质量改进建议,全面提升数据的完整性、准确性、及时性,一致性以及合法性,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。

数据集成:可对数据进行清洗、转换、整合、模型管理等处理工作。既可以用于问题数据的修正,也可以用于为数据应用提供可靠的数据模型。

主数据:帮助企业创建并维护内部共享数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。

数据资产:汇集企业所有能够产生价值的数据资源,为用户提供资产视图,快速了解企业资产,发现不良资产,为管理员提供决策依据,提升数据资产的价值。

数据交换:用于实现不同机构不同系统之间进行数据或者文件的传输和共享,提高信息资源的利用率,保证了分布在异构系统之间的信息的互联互通,完成数据的收集、集中、处理、分发、加载、传输,构造统一的数据及文件的传输交换。

生命周期:管理数据生老病死,建立数据自动归档和销毁,全面监控展现数据的生命过程。

数据安全:提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略,确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。

建立完整的、科学的、安全的、高质量的数据管控技术体系,是首要的任务。作为数据管控的基石,为了更好支撑后续工作的开展,技术体系必须一步到位,是功能完备、高质量、高扩展性的,而不是仅实现部分功能,或者功能不完善的“半成品”。

叠加更多业务数据、细化数据业务属性与管理属性、优化与调整数据管控流程,尤其是适应未来的现代企业数据管控制度的建立完善,是逐步积累推广、不断磨合改进的长期过程。这些工作应及早启动,并成为后续大数据平台建设工作的重点。

谈大数据时代的数据治理 当前要做的是功能框架的完善,而完善的着力点则是“数据资产目录”:用资产化的视角来管理一个企业的数据,只有把数据作为资产来认识和管理,大数据项目才能达成预期,也能够治理好。大数据时代带来的价值,个人认为主要有两个,一个是技术架构,主要是架构理念的进步,另外一个更重要的则是对数据的重视。大数据时代是数据的时代,IT向DT转型,不单单是BAT,所有的IT公司,未来都在数据这两个字上。

对于一个企业来说,把数据作为资产,才是建设大数据的最终目的,而不是仅仅是因为Hadoop架构带来性价比和未来的扩展性。当一个企业把数据作为资产,他就像管理自己名下存折、xyk一样,定期梳理,无时无刻不关心资产的变化情况,关注资产的质量。

而资产目录就是管理资产的形式和手段,他像菜单一样对企业的资产进行梳理、分门别类,提供给使用者;使用者通过菜单,点选自己需要的数据,认可菜单对应的后端处理价值,后厨通过适当的加工,推出相应的数据服务;这是一个标准的流程,而这些流程之上,附着一整套数据管理目标和流程。

大数据平台以数据资产目录为核心,将元数据、数据标准、主数据、数据质量、数据生命周期、数据轮廓等信息在逻辑层面关联起来,在管理层面上整合成统一的整体,构建起数据管理体系,全面的支持数据服务等具体应用。

大数据平台实现了数据存储、清洗和应用。在数据汇入和汇出的过程中,需要对数据的元数据进行统一记录和管理,以利于后续的数据应用和数据血缘分析。数据质量一直是数据集成系统的基础工作,对数据的各个环节设置数据质量检查点,对数据质量进行剖析、评估,以保证后续应用的可信度。

在数据收集的过程中,随着数据维度、指标的聚集,如何找到所需的业务指标及属性,并且评估相关属性的业务及技术细节,需要对收集的所有数据进行业务属性,并进行分类,建立完善的数据资产目录。

数据资产目录是整个大数据平台的数据管理基础,而数据资产目录由于数据的多样性,在使用的过程中,必然涉及数据权限的申请、审批管控流程,而管控流程的建立依赖于相应岗位的设立和对应职责的建立。

大数据平台的数据管理架构规划,通过数据物理集中和数据逻辑整合,彻底摆脱企业“数据竖井”的困境。大数据平台数据管理架构分为功能架构、流向规划和数据架构三个层面。

数据管理功能架构:借鉴DAMA数据管理和DMM数据成熟度理论,着眼于数据管理技术和数据管理流程融合,组织数据管理功能。

数据流向规划架构:规划整个大数据平台的数据流向,并在数据流入、数据整合、数据服务的具体环节实现精细化管理。

数据管理的数据架构:以数据资产目录为核心,数据项为最小管理单元,将技术元数据(实体、属性和关系)、业务元数据和管理元数据(数据标准、主数据、数据质量、数据安全)融合为彼此紧密联系、密不可分的整体,共同构成精细化管理的数据基础。

数据管理在整个大数据平台不仅仅是一个主要功能模块,它还是整个企业层面数据治理的重要组成部分,它是技术和管理流程的融合,也需要合理管控流程框架下组织机构之前的协调合作。如何利用统一的数据管理模块对企业所有进入到数据湖的数据进行有效管控,不单单取决于数据管理模块本身,也取决于元数据的合理采集、维护,组织结构及制度的强力支持保证。

谈大数据时代的数据治理 大数据平台数据管理参照了DAMA对于数据管理的九个管理目标,并进行裁剪,并对部分管理目标进行了合并,并参照了CMMI制定DMM数据成熟度目标,采用循序渐进,逐步完善的策略对管理目标进行分阶段完成,制定完整的管控流程和数据治理规范,以便持续的对数据进行管理,递进实现DMM定义的成熟度目标。

亿信睿治数据治理管理平台和DAMA的对应关系如下:

谈大数据时代的数据治理 大数据平台数据管理的核心内容是数据资产目录,围绕数据资产目录的数据流入、数据整合、数据服务都是数据管理的核心。数据管理主要管理数据的流动,以及管理流动带来的数据变化,并对数据底层的数据结构、数据定义、业务逻辑进行采集和管理,以利于当前和未来的数据使用。为了更好的对数据进行管理和使用,制度层面的建设、流程的设立必不可少,同时也兼顾到数据在流动过程中产生的安全风险和数据隐私风险。

因此数据管理介入到完整的数据流转,并在每个节点都有相应的管理目标对应,整个数据流框架如下图所示:

谈大数据时代的数据治理 企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖的数据进行严格的出入库管理,保证数据可信度,并定期进行数据质量剖析检查,确保数据资产完善、安全、可信,避免“不治理便破产”的谶言。

IT治理,作为一种涉及所有利益相关者之间关系的制度安排和管理实践,世界各国以及国际机构都对这一问题都非常重视,制定了一系列的IT治理与IT管控的原则和标准,已经形成了一个全球性的IT治理与IT管控改革运动 实施IT治理是应对现代环境变化所带来的挑战的重要手段。所以,企业应从业务角度、组织角度、管理角度、治理角度;从战略、制度、流程、规范和标准的高度,来构建适合本企业的IT治理框架,提高公司的IT治理水平。

通过一系列IT治理方面的制度安排,有效地推动IT战略与公司战略的一致性,提高IT的投资回报率,降低IT的风险。

通过持续改进,增强企业的核心竞争力。

IT在企业中的重要性,早已超出传统IT管理部门的界限,上升到公司战略层面。对IT的管理也上升到了与“公司治理”并列的“IT治理”阶段。这是历史的必然。

ITIL认证升级到ITIL4,所涵盖认证包括ITIL4 Foundation、ITIL 4 Managing Professional及ITIL 4 Strategic Leader;

ITIL 4 Managing Professional包含如下认证:

ITIL 4 Specialist Create, Deliver and Support

ITIL 4 Specialist Drive Stakeholder Value

ITIL 4 Specialist High-velocity IT

ITIL 4 Strategist Direct, Plan and Improve

ITIL 4 Strategic Leader包含如下认证:

ITIL 4 Strategist Direct, Plan and Improve

ITIL 4 Leader Digital and IT Strategy

艾威培训作为ITIL厂商People Cert授权的全球教育培训机构与考试中心,成为众多500强企业指定的培训供应商,拥有官方授权的教练团队与官方授权资料,提供ITIL面授、ITIL网络课程。

艾威培训是北美著名的培训机构,源于美国新泽西州,2000 年进入中国,2003年设立中国校区,专注于国际前沿的新技术研发与教育。涵盖项目管理PMP、企业架构TOGAF、信息系统审计CISA,商业分析师CBAP,DevOps、敏捷CSM等国际热门认证。

信息化规划咨询是针对信息化规划过程中遇到的焦点问题而进行的咨询。

通过邀请与行业相关度高、业务类型相似度高的有成功或失败的信息化规划经验的企业高管及咨询专家参与。以能够帮助企业在信息化规划前期,避免信息化规划陷阱;在信息化规划中期,解决遇到的实际问题;在信息化规划实施后期,合理评估及改进,借助专家的经验和洞见,少走弯路、少犯错误。

信息化规划的焦点问题

焦点问题涉及到信息化规划前期的认识统一

1 信息化规划如何以业务发展战略为导向?

信息化规划要从企业的经营战略目标出发,综合考虑企业的人、技术和管理的作用,综合运用现代管理技术、信息技术,从而实现企业经营全过程中的信息流、物流、资金流的有机集成和优化运行,提高企业的应变能力和综合竞争能力;

2 如何认识信息化规划不是IT项目,而是管理项目?

信息化规划要遵循管理提升与IT建设并重的原则,尤其要关注业务流程的优化。信息化建设将使企业内外部的整合加速,从而促进企业组织结构的优化,并最终推动企业流程的优化;

3 如何明确IT投资计划?什么是合理的范围?

信息化规划项目的一个重要输出是IT投资计划。IT投资的设计需配合管理、组织、业务提升分步实施、协同发展。科学的IT投资计划和严谨的实施保障,将协助企业均衡、持续地发展。

4 如何避免信息化规划不能落地实现?

不落地是信息化规划项目最大的失败。保证信息化规划可落地实现,首先要有一个高品质的信息化规划方案。其次,需要防止规划内容与系统建设“两张皮”,这就要求在信息化规划过程中加强与软件厂商、实施商的交流,确保规划内容与系统建设匹配。第三,还要在企业内部持续做松土工作,针对各级人员进行信息化理念、方法技能的宣导和培训。

信息化规划咨询还重点解决:

1 面对复杂的信息技术,企业如何判断不同信息系统的商业价值?

2 如何选择相关的应用软件和实施服务?

3 如何有效管理相关的数据并应用数据?

4 信息系统如何实施?优先的次序是什么?

5 如何改造旧有的系统进行系统之间的集成?

6 如何建立良好的IT治理体系?

7 应对长期进行的IT建设和运维业务?

以上就是关于信息化的管理制度体系如何构建求解全部的内容,包括:信息化的管理制度体系如何构建求解、什么是IT治理、大数据时代如何做好数据治理等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/8807149.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-21
下一篇 2023-04-21

发表评论

登录后才能评论

评论列表(0条)

保存