大数据时代数据安全策略
大数据未来已来 商业价值巨大
众所周知,今天的数据量正在呈几何式增长,以个人消费者为例,现在我们每个人每天都会产生大量的数据比如上网数据、购物数据、社交数据。而在企业市场,数据量更是惊人, 移动设备、互联网以及企业自身的数据加速了大数据到来 。阿里的马云曾经说过,我们现在正在处于一个由IT时代向DT时代转变。实际上,这不是在耸人听闻,小到我们个人消费者大到行业企业的发展,处处在产生数据、又处处离不开数据,基于大数据技术,无论是个人还是行业企业可以去很多的业务创新以及价值转换,事实上,大数据的价值已经不言而喻。梭子鱼中国华南区高级技术经理范宏伟认为,大数据在行业发展的前景非常广阔,不论是传统的金融机构还是现在时髦的互联网金融机构,通过大数据技术能够分析每个人的特征,根据所形成的特征进行汇总,能够助力金融机构实现对于贷款人的评判。
在政府和房地产行业,未来随着数据的开放,通过大数据技术查询房产不需要在回到原省区查询,直接在所在当地就可以查询。
对于企业的内部管理而言,通过大数据技术可以分析出营销存在的问题,然后根据问题,不断的优化、解决,从而使整体的团队营销水平最终得到有效的提升。
今天的大数据对于企业而言是非常有价值的,经过多年的大数据的发展,范宏伟认为,大数据现在呈现以下几大特点:
第一,规模越来越大。在过去十几年前,几百GB的数据量已经非常巨大,但现在都已经是TB、PB级的,从这方面来看,数据规模越来越大;
第二,数据类型非常多,过去只有单一的数据,现在越来越多非结构化数据如音频、视频、社交数据等对数据处理能力提出更高要求;
第三,数据处理速度快,对数据实时处理有着极高的要求,通过传统数据库查询方式得到的 “当前结果”很可能已经没有价值。
第四,数据价值高。海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。
大数据 安全不容小觑
虽然我们一再强调大数据的特点以及在行业中的价值,也传递了它的正向作用,但是任何事务都是双向的,既然大数据有正向作用,那么它也有反向作用暨开展大数据也是存在挑战的,而安全成为企业开展在大数据不容小觑的“门槛”。
还是以金融为例,通常金融的数据信息是最“齐全”的,对于黑客而言,通常会进行多个点的“攻击”,一旦攻开一个点,它就可以“拿”到整个数据,这对金融机构特别可怕,特别是互联网金融如P2P的兴起,由于技术薄弱以及众多的后台接口,导致每天被都会被攻击,而且在互联网环境下黑客的成本在降低,这就导致了在大数据时代企业存在安全风险。
范宏伟表示,在大数据时代,黑客对于企业的攻击点是无形中增加的,它已经不在局限于企业自身的攻击,而是通过“外围”的方式深入到企业内部比如美国某知名电商网站受到攻击后发现原来黑客是从该网站的供应商系统中切入到,从而获得了数据。因此,对于企业而言,企业的数据安全风险的,这也是企业的CIO、IT管理者在企业发展中需要思考的问题。
大数据时代数据安全策略
现在我们可以看到,在整个IT系统中,数据已经成为IT很重要的资产,那么,数据作为企业中很重要的数据,我们怎么保护数据如何做到有效的容灾而且大数据存在安全风险,那么作为企业的CIO、IT管理者而言又该如何来应对
对于此,范宏伟认为,CIO开展借助大数据安全,首先要做好大数据的安全策略:
第一,规范建设。不论上新应用信息系统还是过去旧的系统,都需要有规范化的管理,在大数据时代如果没有规范,它所面临的就是数据丢失。
第二,建立以数据为中心的安全系统。
第三,融合创新。
实际在这三点对于每个行业企业在开展大数据安全管理时,都具有重要的参考价值。对于企业的CIO而言,企业的核心数据如ERP系统首先可通过预判来进行防范,实现安全预警。比如平常员工很少晚上登陆ERP系统帐号,如果晚上登陆ERP系统,就可以判断是疑似的预判,从而做出相应的应对措施。
对于企业的核心数据保护需要考虑以下五个方面的因素:
第一,灾难的类型。会有哪些灾难以及会对系统到来多大损失当机器出现故意后,对于企业有多大影响比如ERP系统机器损坏以后会影响到企业的生存发展;
第二、恢复时间:灾难发生后需要多久恢复
第三,实用技术。目前有哪些可靠的技术,可以保护数据安全
第四、成本的问题。实施容灾方案的成本以及不实施容灾灾难发生后的损失成本
第五、恢复程度;系统恢复还是数据恢复恢复数据的最后更新时间
范宏伟进一步指出,在有限的成本中,把数据保护实现最大化,则需要CIO要在实施成本、宕机时间、解决方案达成一个平衡。因此,开展数据保护或者对于整体数据容灾系统应该从底层的数据备份恢复开始做起,逐步开始数据复制、应用切换、业务接管等四个方向。
以上是小编为大家分享的关于大数据时代数据安全策略的相关内容,更多信息可以关注环球青藤分享更多干货
大数据是指在一定时间内,常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产,需要一种新的处理模式,以具备更强的决策、洞察和流程优化能力。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些有意义的数据进行专业的处理。换句话说,如果把大数据比作一个行业,这个行业盈利的关键在于提高数据的“处理能力”,通过“处理”实现数据的“增值”。
从技术上讲,大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能用单台计算机处理,必须采用分布式架构。其特点在于海量数据的分布式数据挖掘。但它必须依赖云计算分布式处理、分布式数据库、云存储和虚拟化技术。
扩展信息:
大数据只是现阶段互联网的一个表征或特征。没有必要将其神话或保持敬畏。在以云计算为代表的技术创新背景下,这些原本看似难以收集和使用的数据开始被轻松使用。通过各行各业的不断创新,大数据将逐渐为人类创造更多的价值。
是体现大数据技术价值的手段,是进步的基石。这里从云计算、分布式处理技术、存储技术、感知技术的发展,阐述大数据从采集、处理、存储到形成结果的全过程。
实践是大数据的终极价值。在这里,我们从互联网大数据、政府大数据、企业大数据、个人大数据四个方面来描绘大数据的美好图景和将要实现的蓝图。
详细解读你所不了解的“大数据”
进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。
一、大数据出现的背景
进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
最早提出大数据时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
大数据在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
二、什么是大数据?
信息技术领域原先已经有“海量数据”、“大规模数据”等概念,但这些概念只着眼于数据规模本身,未能充分反映数据爆发背景下的数据处理与应用需求,而“大数据”这一新概念不仅指规模庞大的数据对象,也包含对这些数据对象的处理和应用活动,是数据对象、技术与应用三者的统一。
1、大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合,如某个政府部门或企业掌握的数据库,也可能是虚拟的、无限的数据集合,如微博、微信、社交网络上的全部信息。
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看,“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义:“大数据是最大的宣传技术、是最时髦的技术,当这种现象出现时,定义就变得很混乱。”Kelly说:“大数据是可能不包含所有的信息,但我觉得大部分是正确的。对大数据的一部分认知在于,它是如此之大,分析它需要多个工作负载,这是AWS的定义。
2、大数据技术,是指从各种各样类型的大数据中,快速获得有价值信息的技术的能力,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
3、大数据应用,是指对特定的大数据集合,集成应用大数据技术,获得有价值信息的行为。对于不同领域、不同企业的不同业务,甚至同一领域不同企业的相同业务来说,由于其业务需求、数据集合和分析挖掘目标存在差异,所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展,才能充分实现大数据的价值。
当你的技术达到极限时,也就是数据的极限”。大数据不是关于如何定义,最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比,开源的大数据分析工具的如Hadoop的崛起,这些非结构化的数据服务的价值在哪里。
三、大数据的类型和价值挖掘方法
1、大数据的类型大致可分为三类:
1)传统企业数据(Traditionalenterprisedata):包括 CRMsystems的消费者数据,传统的ERP数据,库存数据以及账目数据等。
2)机器和传感器数据(Machine-generated/sensor data):包括呼叫记录(CallDetailRecords),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。
3)社交数据(Socialdata):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。
2、大数据挖掘商业价值的方法主要分为四种:
1)客户群体细分,然后为每个群体量定制特别的服务。
2)模拟现实环境,发掘新的需求同时提高投资的回报率。
3)加强部门联系,提高整条管理链条和产业链条的效率。
4)降低服务成本,发现隐藏线索进行产品和服务的创新。
四、大数据的特点
业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说,大数据具有4个基本特征:
1、是数据体量巨大
数据体量(volumes)大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;百度资料表明,其新首页导航每天需要提供的数据超过15PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。
2、是数据类别大和类型多样
数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式,更多的是、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。
3、是处理速度快
在数据量非常庞大的情况下,也能够做到数据的实时处理。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。
4、是价值真实性高和密度低
数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。
五、大数据的作用
1、对大数据的处理分析正成为新一代信息技术融合应用的结点
移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。
大数据具有催生社会变革的能量。但释放这种能量,需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(RamayyaKrishnan,卡内基·梅隆大学海因兹学院院长)。
2、大数据是信息产业持续高速增长的新引擎
面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
3、大数据利用将成为提高核心竞争力的关键因素
各 行各业的决策正在从“业务驱动”转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。
4、大数据时代科学研究的方法手段将发生重大改变
例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。
六、大数据的商业价值
1、对顾客群体细分
“大数据”可以对顾客群体细分,然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。
2、模拟实境
运用“大数据”模拟实境,发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器,汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。
云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下,实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘,从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案投入回报最高。
3、提高投入回报率
提高“大数据”成果在各相关部门的分享程度,提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享,帮助他们利用“大数据”创造商业价值。
4、数据存储空间出租
企业和个人有着海量信息存储的需求,只有将数据妥善存储,才有可能进一步挖掘其潜在价值。具体而言,这块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。主要是通过易于使用的API,用户可以方便地将各种数据对象放在云端,然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务,如亚马逊、网易、诺基亚等。运营商也推出了相应的服务,如中国移动的彩云业务。
5、管理客户关系
客户管理应用的目的是根据客户的属性(包括自然属性和行为属性),从不同角度深层次分析客户、了解客户,以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说,专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里,在群朋友圈里发布新产品预告、特价销售通知,完成售前售后服务等。
6、个性化精准推荐
在运营商内部,根据用户喜好推荐各类业务或应用是常见的,比如应用商店软件推荐、IPTV视频节目推荐等,而通过关联算法、文本摘要抽取、情感分析等智能分析算法后,可以将之延伸到商用化服务,利用数据挖掘技术帮助客户进行精准营销,今后盈利可以来自于客户增值部分的分成。
以日常的“垃圾短信”为例,信息并不都是“垃圾”,因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后,可以给需要的人发送需要的信息,这样“垃圾短信”就成了有价值的信息。在日本的麦当劳,用户在手机上下载优惠券,再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息,例如经常买什么汉堡,去哪个店消费,消费频次多少,然后精准推送优惠券给用户。
7、数据搜索
数据搜索是一个并不新鲜的应用,随着“大数据”时代的到来,实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来,即实时广告业务和应用内移动广告的社交服务。
运营商掌握的用户网上行为信息,使得所获取的数据“具备更全面维度”,更具商业价值。典型应用如中国移动的“盘古搜索”。
七、大数据对经济社会的重要影响
1、能够推动实现巨大经济效益
比如对中国零售业净利润增长的贡献,降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。
2、能够推动增强社会管理水平
大数据在公共服务领域的应用,可有效推动相关工作开展,提高相关部门的决策水平、服务效率和社会管理水平,产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据,指导驾车出行者选择最佳路径,从而改善城市交通状况。
3、如果没有高性能的分析工具,大数据的价值就得不到释放
对大数据应用必须保持清醒认识,既不能迷信其分析结果,也不能因为其不完全准确而否定其重要作用。
1)由于各种原因,所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据,加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟,所以对计算机完成的大数据分析处理的结果,无法要求其完全准确。例如,谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发,但由于微博上无用信息的干扰,这种预测也曾多次出现不准确的情况。
2)必须清楚定位的是,大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维,辅助决策。简单而言,若是处理一个问题,通常人能够想到一种方法,而大数据能够提供十种参考方法,哪怕其中只有三种可行,也将解决问题的思路拓展了三倍。
所以,客观认识和发挥大数据的作用,不夸大、不缩小,是准确认知和应用大数据的前提。
八、总结
不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
1、从大数据的价值链条来分析,存在三种模式:
1)手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。
2)没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。
3)既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。
2、未来在大数据领域最具有价值的是两种事物:
1)拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;
2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。
大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域,有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇,需要不断跟踪研究大数据,不断提升对大数据的认知和理解,坚持技术创新与应用创新的协同共进,加快经济社会各领域的大数据开发与利用,推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。
大数据是指在一定时间内,常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产,需要一种新的处理模式,以具备更强的决策、洞察和流程优化能力。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些有意义的数据进行专业的处理。换句话说,如果把大数据比作一个行业,这个行业盈利的关键在于提高数据的“处理能力”,通过“处理”实现数据的“增值”。
从技术上讲,大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能用单台计算机处理,必须采用分布式架构。其特点在于海量数据的分布式数据挖掘。但它必须依赖云计算分布式处理、分布式数据库、云存储和虚拟化技术。
扩展信息:
大数据只是现阶段互联网的一个表征或特征。没有必要将其神话或保持敬畏。在以云计算为代表的技术创新背景下,这些原本看似难以收集和使用的数据开始被轻松使用。通过各行各业的不断创新,大数据将逐渐为人类创造更多的价值。
是体现大数据技术价值的手段,是进步的基石。这里从云计算、分布式处理技术、存储技术、感知技术的发展,阐述大数据从采集、处理、存储到形成结果的全过程。
实践是大数据的终极价值。在这里,我们从互联网大数据、政府大数据、企业大数据、个人大数据四个方面来描绘大数据的美好图景和将要实现的蓝图。
对大数据的全方位解读
大数据是当下非常火爆的一个词,人人都在谈论大数据。但大数据的定义是什么?它到底是如何出现的?它有什么特别之处?它最大的应用领域在哪里?它的发展方向是什么?对于以上问题,其实大多数人是弄不清楚的。
1)大数据时代出现的必然性
大数据和云计算这两个词经常被同时提到,很多人误以为大数据和云计算是同时诞生的、具有强绑定关系。其实这两者之间既有关联性,也有区别。云计算指的是一种以互联网方式来提供服务的计算模式,而大数据指的是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和关联形态上的颠覆性变化的总和。大数据处理会利用到云计算领域的很多技术,但大数据并非完全依赖于云计算;反过来,云计算之上也并非只有大数据这一种应用。
云计算的起源可以追溯到 2003 年末 Amazon 公司工程师 Chris Pinkham 提交给 CEO Jeff Bezos 的一篇论文中的一个设想:将 Amazon 内部使用的计算基础设施开放给全世界的开发者。次年 11 月,Amazon 发布了第一版云计算服务:Simple Queue Service。Simple Queue Service 再往后发展至 2006 年,演变成立今天着名的 AWS(Amazon Web Sercice)。同在 2006 年,Google 公司 CEO Eric Schmidt 首次公开提出了“云计算”(Cloud Computing)的这一概念,云计算也在这一年开始变得广为人知。
大数据这个词的流行却晚了好几年——直到 2009 年,大数据这个说法才逐渐开始在互联网圈内传播。但仅仅在互联网领域流行,仍然不足以引起普遍关注,因为纯互联网经济毕竟只占全球经济总量的很小一部分。而大数据概念真正变得火爆,却是因为美国奥巴马政府在 2012 年高调宣布了其“大数据研究和开发计划”——美国政府希望利用大数据解决一些政府部门面临的非常重要的问题,该计划由横跨 6 个政府部门的 84 个子课题组成。这标志着大数据真正开始进入主流的传统线下经济。
大数据出现的时间点自有它深刻的原因。2009 年至 2012 年这段时间正是电子商务在包括中国在内的全球全面开花的几年。众所周知,互联网领域有 3 大类商业模式:广告、游戏和电子商务。而电子商务又是第 1个真正将纯互联网经济与传统经济嫁接在一起诞生的混合模式。准确地说,正是互联网与传统经济的碰撞,才真正催生出了今天几乎全民关注的“大数据”。大数据横跨了互联网产业与传统产业,而且大数据真正广阔的应用领域其实也正是比纯互联网经济大得多的传统产业。
从数据量的角度来看,在电子商务模式出现以前,传统企业的数量增长缓慢。传统企业的数据仓库中的数据大多数来自于交易型数据,而交易这种行为处于用户消费决策漏斗的最底部,这就决定了交易前的各种浏览、搜索、比较等用户行为数据的都量远远超过交易数据。电子商务模式使得企业可以采集到用户的浏览、搜索、比较等行为,这就导致企业的数据规至少提升了一个数量级。现在日益流行的移动互联网以及将来会流行的物联网又必将使数据量提高两三个数量级。从这个角度来讲,大数据时代是必然会出现的。
从IT产业的发展来看,第一代IT巨头大多是 2B 的,比如 IBM、Microsoft、Oracle、SAP 这类传统IT企业;第二代IT巨头大多是 2C 的,比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。一个有意思的现象是:大数据时代前,这两类公司彼此之间基本是井水不犯河水,我们很少看见这两类公司的老板们在一起坐而论道;但在当前这个大数据时代,这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务,直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是:在互联网巨头的带动下,传统IT巨头的客户普遍开始从事电子商务业务,正是由于客户进入了互联网,所以传统IT巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网,他们业务必将萎缩。所以第三代IT巨头可能会是 2B 与 2C 融合的IT公司。
2)大数据的核心内涵
大数据概念虽然非常火爆,但少有人真正理解大数据的核心内容。一个普遍而且严重的误解就是:大数据= 数据大,即大数据就是量大的数据。事实上,除了数据量大这个字面意义,大数据还有两个更重要的特征:
1) 跨领域数据的交叉融合。相同领域数据量的增加是加法效应,不同领域数据的融合是乘法效应
2) 数据的流动。数据必须流动,流动产生价值
对于第 1) 点,百分点推荐系统研究中心实验结果显示:百分点公司有 3 家客户,分别是从事服装、化妆品和箱包销售的电商,百分点向这 3 家客户提供个性化商品推荐服务,即:百分点挖掘用户的偏好,不同的用户上同一家电商网站时,向他们展现不同的服装、化妆品或箱包,从而提高电商的转化率和客单价。我们做过两种测试:
a) 将每家网站的数据隔离。当每家网站自身的数据量增加到以前的 4 倍时,推荐效果大约能提高 5%;
b) 将三家网站的数据在去除敏感信息之后进行某种融合。融合后的数据大致是与单家网站的数据的 3 倍,比第一种情况数据量还少。但利用融合后的数据进行数据挖掘时,推荐效果能提升 30%,而且推荐商品并未发生变化,仍然是:用户上服饰类网站时只看见服装、上化妆品网站时只看见化妆品、上箱包网站时只看见箱包。
解释得详细一点,上述实验说明:对同一个消费者,如果我们要向其推荐服装。第一种方法是我们根据他过去的 4 次购买服装的行为来预测其下一次可能会购买的服饰;第二种方法是我们根据他过去分别购买服装、化妆品和箱包的各 1 次行为来预测其下一次可能会购买的服饰。两种方法的基于的用户行数分别是 4 次和 3 次,但第二种方法的效果明显更好。
对于第 2) 点,其实 10 多年前传统企业开始做数据仓库时,数据仓库从业者经常强调一个观点:企业级数据仓库的目标是让不同部门的数据流动起来,各个部门数据割裂,数据的价值就得不到发挥。到了今天的互联网时代,我们发现即使企业已经打通了内部各个部门之间的数据,但与整个互联网比起来,数据量仍然微乎其微,数据应该以互联网为媒介在企业之间某种形式的流动。参照“企业级数据仓库”的概念,现在已经开始出现了“互联网数据仓库”的概念:就是企业通过互联网渠道将与自己相关的外部数据与内部数据进行整合,从而形成“互联网数据仓库”。百分点已经在零售与媒体领域比较成功地打造了“开放数据联盟”,该联盟的成员可以在公允、安全的情况下基于该联盟建立起自己的“互联网数据仓库”,从而享用海量数据的价值。
3)大数据的应用领域
大数据的起源要归功于互联网与电子商务,但大数据最大的应用前景却在传统产业。一是因为几乎所有传统产业都在互联网化,二是因为传统产业仍然占据了国家 GDP 的绝大部分份额。
哪些传统企业最需要大数据服务呢?至少有 3 类企业:
1) 对大量消费者提供产品或服务的企业
2) 做小而美模式的中长尾企业
3) 面临互联网压力之下必须转型的传统企业
第 1) 类企业都需要利用大数据精准分析不同消费者的偏好,提高营销和服务的质量;第 1) 类企业都需要利用大数据分析精准定位自己的客户群;第 3) 类企业主要指哪些正在遭受来自互联网的新玩家冲击的传统企业,此类企业自然都需要利用互联网和大数据作为自我进化的工具。当然,第 3) 类企业与前 2 类企业有重叠。
具体来讲,中国最需要大数据服务的行业就是受互联网冲击最大的产业,首先是线下零售业,其次是金融业。
受电商的冲击,国内很多零售巨头都增长严重放缓,甚至遭遇负增长,线下零售已经到了不得不变革的危机关头。我们也看到了银泰百货、王府井百货、万达集团这些具有创新意识的传统巨头开始利用互联网和大数据来改造线下商业。其中银泰百货以手机为载体、利用 O2O 方式进行双线数据挖掘的创新非常值得借鉴。
而金融行业就更加特殊:金融业并不销售任何实体商品,它自诞生起就是基于数据的产业。由于国家管制,金融业在前几年享受了非常好的政策红利,内部变革动力不足。而目前金融业已经逐渐开始放松管制,新兴的金融机构必将利用互联网以及大数据工具向传统金融巨头发起猛烈攻击。而传统金融机构在互联网方面的技术积累和数据积累都不足,要快速应对新进入者的挑战,必然需要大数据服务。我们也看到了中信银行xyk中心、招商银行xyk中心已经在开始利用互联网大数据进行创新。
那么传统产业需要什么样的大数据服务呢?这主要包括 3 层:
1) 基于大数据的行业垂直应用。每个行业都有自己的特点,所以自然会存在行业应用的需求;
2) 顾客标签与商品标签的整理。不管什么行业,都需要精细化整理自己顾客的属性标签以及商品属性标签,而且这些标签必须能够细化到单个顾客和单个商品。标签是行业应用的基础;
3) 企业内部和外部数据的整合与管理。要给顾客和商品打标签,首先必须整合企业内部和外部数据,尤其是日益重要和庞大的外部数据。
图:传统企业需要的大数据服务
第 3 层和第 2 层的方法相对比较通用,行业特殊性相对较少。百分点已经在第 3 层和第 2 层做出了比较成熟的产品,并且也开始在第 1 层做出了一些具体的行业应用产品,比如针对服饰行业的时尚服饰搭配系统。
4)大数据的发展方向
大数据产业未来会向什么方向发展?随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。拿钢铁产业来讲,铁矿石公司从矿场中挖出矿石,经过粗加工,卖给钢铁企业;钢铁企业再进行精细一点的加工,将板材、钢条卖给下游制造业公司;这些制造业公司做出汽车、飞机、门窗、电脑等产品卖给下游公司。这个产业链中存在找矿、运输、加工等诸多环节,每个环节都有对应的企业。
图:传统企业的供应链
在“数据供应链”中,存在数据、数据整合与挖掘工具以及数据应用这 3 大环节。数据就好比矿场的矿石;数据整合与挖掘工具就好比钢厂的冶炼炉;而精准营销、服饰搭配等数据应用就好比汽车、电脑等可以出售给消费者的产品。企业在数据供应、数据整合与挖掘、数据应用等所有环节都需要专业的服务。这里尤其有两个明显的现象:
1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代,单一企业的内部数据与整个互联网数据比较起来只是沧海一粟;
2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。
5) 什么样的大数据企业会胜出
常有大数据从业者以及投资人和我们探讨一个问题:大数据产业中,什么样的企业会最终胜出?这是一个很难回答的问题,而且即使回答了,三五年内可能都无法判断其正确性。但从“数据供应链”中的各个环节来分析,还是可以得出一些具有参考价值的结论。
1) 数据供应。在互联网没有流行的时代,企业做数据仓库、商业智能、数据挖掘等系统时采用的数据基本都来自于企业内部,企业几乎无法获取外部数据,所以很少有专业的数据供应商。互联网改变了这一局面,将来会有专业的数据供应商。但既然是因为互联网的出现导致了数据供应商的出现,那么反过来数据供应商就必须具有很强的互联网基因;
2) 数据整合与挖掘。数据挖掘工具供应商在非互联网时代就早已存在。但互联网时代使得企业的数据量激增、数据类型发生极大变化(不同于传统的来自于单一领域的结构化数据,互联网数据以跨域的非结构化数据为主),传统的数据挖掘工具供应商的技术和方法已经很难适应。要跟上时代的变化,数据挖掘技术与工具应用商必须具备互联网公司的海量数据处理和挖掘的能力;
3) 数据应用。具体的行业应用与传统行业的业务关系密切,要做好行业应用,最好需要有服务传统行业的经验,了解传统行业的内部运作模式。这时候仅仅具有 2C 经验的互联网基因的公司又稍显不足。
综合起来看,如果一家大数据从业公司同时兼备互联网数据获取能力、互联网技术、互联网执行力,又有做 2B 服务的经验,那么这家公司将比较容易取得领先优势。这个结论其实一点也不奇怪:如本文开篇所述,大数据本来就是互联网与传统产业碰撞时的产物。
用“方兴未艾”这个词来形容大数据产业的发展阶段都还为时过早,目前的大数据产业只能说是小荷才露尖尖角。国内企业在第 1 代IT产业(硬件和软件产业)中是明显落后国外企业的;在第 2 代IT产业(互联网产业)中,国内企业已经与国外企业差距不大甚至在很多方面超过了国外企业;希望在第 3 代IT产业(云计算和大数据)浪潮中,国内企业能够完全赶上并且超过国外企业,我们也认为这是很有可能的。
极其流行,同样也是竞争力极其大的一种商业模式。虽然国内软件开发公司都发展壮大起来了,但是各地软件开发公司的实力及资质仍然参差不齐。下面为大家介绍下近期国内软件开发公司的排名汇总。
1:华盛恒辉科技有限公司
上榜理由:华盛恒辉是一家专注于高端软件定制开发服务和高端建设的服务机构,致力于为企业提供全面、系统的开发制作方案。在开发、建设到运营推广领域拥有丰富经验,我们通过建立对目标客户和用户行为的分析,整合高质量设计和极其新技术,为您打造创意十足、有价值的企业品牌。
在军工领域,合作客户包括:中央军委联合参谋(原总参)、中央军委后勤保障部(原总后)、中央军委装备发展部(原总装)、装备研究所、战略支援、军事科学院、研究所、航天科工集团、中国航天科技集团、中国船舶工业集团、中国船舶重工集团、第一研究所、训练器材所、装备技术研究所等单位。
在民用领域,公司大力拓展民用市场,目前合作的客户包括中国中铁电气化局集团、中国铁道科学研究院、济南机务段、东莞轨道交通公司、京港地铁、中国国电集团、电力科学研究院、水利部、国家发改委、中信银行、华为公司等大型客户。
2:五木恒润科技有限公司
上榜理由:五木恒润拥有员工300多人,技术人员占90%以上,是一家专业的军工信息化建设服务单位,为军工单位提供完整的信息化解决方案。公司设有股东会、董事会、监事会、工会等上层机构,同时设置总经理职位,由总经理管理公司的具体事务。公司下设有研发部、质量部、市场部、财务部、人事部等机构。公司下辖成都研发中心、西安研发中心、沈阳办事处、天津办事处等分支机构。
3、浪潮
浪潮集团有限公司是国家首批认定的规划布局内的重点软件企业,中国著名的企业管理软件、分行业ERP及服务供应商,在咨询服务、IT规划、软件及解决方案等方面具有强大的优势,形成了以浪潮ERP系列产品PS、GS、GSP三大主要产品。是目前中国高端企业管理软件领跑者、中国企业管理软件技术领先者、中国最大的行业ERP与集团管理软件供应商、国内服务满意度最高的管理软件企业。
4、德格Dagle
德格智能SaaS软件管理系统自德国工业40,并且结合国内工厂行业现状而打造的一款工厂智能化信息平台管理软件,具备工厂ERP管理、SCRM客户关系管理、BPM业务流程管理、
OMS订单管理等四大企业业务信息系统,不仅满足企业对生产进行简易管理的需求,并突破局域网应用的局限性,同时使数据管理延伸到互联网与移动商务,不论是内部的管理应用还是外部的移动应用,都可以在智能SaaS软件管理系统中进行业务流程的管控。
5、Manage
高亚的产品 (8Manage) 是美国经验中国研发的企业管理软件,整个系统架构基于移动互联网和一体化管理设计而成,其源代码编写采用的是最为广泛应用的
Java / J2EE 开发语言,这样的技术优势使 8Manage
可灵活地按需进行客制化,并且非常适用于移动互联网的业务直通式处理,让用户可以随时随地通过手机apps进行实时沟通与交易。
智能运维即是AIOps,根据Gartner最新解释,指整合大数据和机器学习能力,通过松耦合、可扩展方式去提取和分析数据量(volume)、种类(variety)和速度(velocity)这三个维度不断增长的IT数据,进而为IT运维管理产品提供支撑。
运维发展至今,Ops已经从手工运维、流程化标准化运维、平台化自动化运维,来到了DevOps。近几年,Ops已经和大数据、AI融合,延伸出DataOps、AIOps。这是历史必然,也将为企业IT运维带来极高的效率,对于企业而言。AIOps意味着效率更高、成本更低、解决时间更短。
对比于传统运维工具,AIOps的优势非常明显:传统运维工具的指标采集维度过于单一,在判断故障时,会通过非常多的运维指标进行排查,这样会造成时间的浪费,对于传统运维数据更多的是依靠专家经验判断;
而AIOps可以通过底层的大数据平台进行分析,通过AI技术的充分学习判断,对告警进行直接的溯源、降噪,第一时间对运维人员展示故障的根本原因及定位,大大提高了工作效率和处理故障的时间。
博睿数据的AIOps的核心是“数据+AI+产品+场景”四合一的综合解决方案。多年来,博睿数据积极拥抱新技术变革的浪潮,并基于AI和机器学习技术,自主研发了“数据接入、处理、存储与分析技术”核心技术体系,全面布局智能基线、异常检测、智能告警、关联分析、根因分析等丰富且广泛的智能运维功能,并将AIOps能力融入端到端全栈监控产品线,为传统企业提供强大的数据处理、存储和分析的软件工具。
以上就是关于大数据时代数据安全策略全部的内容,包括:大数据时代数据安全策略、什么是大数据、详细解读你所不了解的“大数据”等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)