随着大数据基础技术的逐渐完善,大数据发展进入应用阶段,但是由于发展时间晚以及数字化基础相对薄弱,我国大数据产业尚处于初级阶段。面对如此庞大激增的数据量,常规软件无法在一定时间内实现数据的捕捉、管理与处理,需要新的数据处理模式,大数据正是基于以上背景应运而生。
大数据的概念与特征
大数据简单来讲就是海量数据的集合,通过综合数据之间的相互关联性,大数据分析拥有更强的决策力、洞察发现力和流程优化能力,能够应对海量、高增长率和多样化的信息资产。相比于传统的数据处理模式,在容量方面,大数据达到了PB(相当于1024TB、1048576GB)以上级别,这是传统的数据库技术和单部计算机几乎无法存储处理的;在数据处理结果方面,大数据能够通过将不同类别的数据汇总,做出更加系统合理的决策;在价值挖掘方面,大数据覆盖面广阔,实现了各个领域的数据一体化,因而能够通过相互关联的多样化数据及时发现潜在价值信息;在流程优化能力方面,大数据能够打包联合流程所需的各种数据,极大地提高了办事效率。
大数据具有海量的数据规模、快速的数据流转、多样的数据类型、价值密度低和数据在线五大特征。数据量方面,大数据的采集、存储以及计算量都十分巨大,起始计量单位至少是PB(1000个TB)、EB(100万个TB)或ZB(10亿个TB);数据流转速度方面,相比于传统数据处理模式,大数据在数据处理速度上有了跨越式的提升,从而能够极大提升数据流传速度;数据类型方面,大数据包括数字、网络日志、视频、音频等结构化、半结构化以及非结构化数据,数据来源广阔,数据类型十分丰富;价值密度方面,由于大数据采集以全面为主,不设采集门槛,因此采集的大量数据是重复的,无效的,低价值的,必须通过特定的模型及算法挖掘有价值的信息;数据在线方面,区别于磁盘中的离线数据,大数据是永远在线的,能够随时调用和计算。
数据加工成为大数据产业的附加值大数据产业的价值点体现在数据的处理加工方面。区别于其他产业,大数据产业的“产品”并非以实体方式存在,而是以虚拟的数据结果呈现,更多的是为分析决策提供有力的科学依据,起到关键性的辅助作用。大数据产业的基本要素是海量的数据,虽然数据本身价值量比较固定,但是大数据企业可以根据数据之间的关联性,通过特定的模型及算法,对数据进行二次“加工”,即处理分析之后,便能够发掘隐藏在数据中的价值信息,从而实现数据的“增值”。
信息化时代,大数据挖掘信息潜在价值的能力至关重要。各个产业信息化的发展给大数据产业奠定了大量的数据基础,使得大数据企业能够依据海量的数据资源挖掘数据潜在价值,实现对目标信息的获取。比如,Target超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,进而准确地推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。
大数据发展进入应用阶段,而我国大数据产业成熟度较低纵观全球大数据的发展历程,一共经历了四个发展阶段。
1990-2002年属于大数据的萌芽阶段,随着数据库技术以及数据挖掘技术的推广,大量商业智能工具以及数据管理系统被开发出来,比如图书馆数据管理系统、仓库数据管理系统、知识管理系统。
2003-2006年属于大数据发展的突破阶段,随着手机以及个人电脑的迅速普及,大量的Web信息、图像、音频及视频等非结构化数据产生,传统的数据库技术不便实现对这些非结构数据的管理,从而带动了大数据技术的快速突破,标志性的事件是2005年雅虎实行的Hadoop项目,为结构化与复杂数据的快速、可靠分析奠定了基础。
2006-2009期间属于大数据发展的成熟阶段,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFS和MapReduce等大数据技术得到广泛应用。
2009年至今属于大数据发展的应用阶段,随着大数据基础理论发展的不断成熟,人们开始转向大数据的应用研究,大数据开始向商业、教育、工业、医疗、交通等领域渗透。
据统计,我国每年的新增数据量仅为美国的7%,欧洲的12%,并且我国数据资源存在着标准化、准确性、完整性低,利用价值不高的特点。薄弱的产业数据基础严重制约了我国大数据的发展,并且这一现状短期难以改善,只能随着产业信息化发展的不断深入,逐步积累数据资源,强化基础。政策推动方面,我国在2014年的《政府工作报告中》首次出现了大数据一词,2015年的《促进大数据发展行动纲要》标志我国大数据上升到国家战略层次,由此可见,我国大数据发展历程较短,还未形成相关人才、技术积累。
由于数字化基础相对薄弱以及发展时间较晚,我国大数据产业成熟度较低。大数据发展的基础是海量的数字化信息资源,而与美国、欧洲等发达国家相比,我国产业信息化发展起步较晚,产业数字化基础还比较薄弱,数据资源相对匮乏,特别是在农业领域。随着人类步入信息化社会,数据信息变得尤为重要,大数据的发展不仅具有积极的社会意义、巨大的商业价值,于国家层面还拥有巨大的战略意义,而目前我国大数据发展历程较短,尚处于初级阶段,核心技术还有待提高。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)