大数据对科学研究思维方式的影响,维克托·迈尔·舍恩伯格在《大数据时代:生活、工作与思维的大变革》一书中明确指出,大数据时代最大的转变就是思维方式的3种转变:全样而非抽样、效率而非精确、相关而非因果。
(1)全样而非抽样
过去,由于数据存储和处理能力的限制,在科学分析中,通常采用抽样的方法,即从全集数据中抽取一部分样本数据,通过对样本数据的分析,来推断全集数据的总体特征。通常,样本数据规模要比全集数据小很多,因此,可以在可控的代价内实现数据分析的目的。
现在,我们已经迎来大数据时代,大数据技术的核心就是海量数据的存储和处理,分布式文件系统和分布式数据库技术,提供了理论上近乎无限的数据存储能力,分布式并行编程框架MapReduce提供了强大的海量数据并行处理能力。
因此,有了大数据技术的支持,科学分析完全可以直接针对全集数据而不是抽样数据,并且可以在短时间内迅速得到分析结果,速度之快,超乎我们的想象。就像前面我们已经提到过的,谷歌公司的Dremel可以在2~3秒内完成PB级别数据的查询。
(2)效率而非精确
过去,我们在科学分析中采用抽样分析方法,就必须追求分析方法的精确性,因为,抽样分析只是针对部分样本的分析,其分析结果被应用到全集数据以后,误差会被放大,这就意味着,抽样分析的微小误差,被放大到全集数据以后,可能会变成一个很大的误差。
因此,为了保证误差被放大到全集数据时仍然处于可以接受的范围,就必要确保抽样分析结果的精确性。正是由于这个原因,传统的数据分析方法往往更加注重提高算法的精确性,其次才是提高算法效率。
现在,大数据时代采用全样分析而不是抽样分析,全样分析结果就不存在误差被放大的问题,因此,追求高精确性已经不是其首要目标;相反,大数据时代具有“秒级响应”的特征,要求在几秒内就迅速给出针对海量数据的实时分析结果,否则就会丧失数据的价值,因此,数据分析的效率成为关注的核心。
(3)相关而非因果
过去,数据分析的目的,一方面是解释事物背后的发展机理,比如,一个大型超市在某个地区的连锁店在某个时期内净利润下降很多,这就需要IT部门对相关销售数据进行详细分析找出发生问题的原因;另一方面是用于预测未来可能发生的事件,比如,通过实时分析微博数据,当发现人们对雾霾的讨论明显增加时,就可以建议销售部门增加口罩的进货量。
因为,人们关注雾霾的一个直接结果是,大家会想到购买一个口罩来保护自己的身体健康。不管是哪个目的,其实都反映了一种“因果关系”。但是,在大数据时代,因果关系不再那么重要,人们转而追求“相关性”而非“因果性”。
比如,我们去淘宝网购物时,当我们购买了一个汽车防盗锁以后,淘宝网还会自动提示你,与你购买相同物品的其他客户还购买了汽车坐垫,也就是说,淘宝网只会告诉你“购买汽车防盗锁”和“购买汽车坐垫”之间存在相关性,但是,并不会告诉你为什么其他客户购买了汽车防盗锁以后还会购买汽车坐垫。
大数据的作用:大数据,又称巨量资料,其特点在于数据量大、速度快、类型多和具有真实性。随着大数据时代的来临,大数据分析也应运而生。
大数据分析是指对规模巨大的数据进行分析,其包括的主要方面有可视化分析、数据挖掘算法、预测性分析能力、语义引擎,以及数据质量和数据管理。之所以说大数据分析能够比我们更了解自己,主要依据在于大数据分析是一种借助于科技手段对现有数据进行分析的过程,这一过程中的每一个环节都严格按照已写好的软件程式进行运算,不会受到人的主观意识影响,也不会受到外界环境的影响,也就是说,通过大数据分析出的结果更具有客观性和精确性。
大数据的概念和作用:
概念:大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
作用:大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、数字家庭、物联网、社交网络、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。
2大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。
3大数据利用将成为提高核心竞争力的关键因素。各行各业的决策对大数据的分析越来越重视,对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对
大数据可以简单理解为:
"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。简单的说就是超级存储,海量数据上传到云平台后,大数据就会对数据进行深入分析和挖掘。
进一步简单的说,大数据基本要具备以下三点:
1)有海量的数据;
2)有对海量数据进行挖掘的需求;
3)有对海量数据进行挖掘的技术和工具(比如常见的有hadoop、spark等)。
用这些数据做:数据采集、数据存储、数据清洗、数据分析、数据可视化
大数据的应用对象可以简单的分为给人类提供辅助服务,以及为智能体提供决策服务。
大数据不仅包括企业内部应用系统的数据分析,还包括与行业、产业的深度融合。具体场景包括:互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+,可以应用在各行各业",如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。
以上就是关于大数据对科学研究有什么影响全部的内容,包括:大数据对科学研究有什么影响、大数据的作用、大数据的概念和作用等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)