什么和大数据随之在整个供应链中被广泛应用

什么和大数据随之在整个供应链中被广泛应用

什么和大数据随之在整个供应链中被广泛应用，在数字化时代，数据分析逐步成为从业人员的必备技能之一。所以我们应该注重做好数据分析。那么什么和大数据随之在整个供应链中被广泛应用？

什么和大数据随之在整个供应链中被广泛应用1

大数据时代对采购和供应链带来的挑战和机遇

1、大数据时代及其特征

大数据(Big Data)是指所涉及的规模巨大的数据。随着时代的不断进步以及科技的飞速发展，互联网、物联网、移动通讯、管理信息化、电子商务等技术不断相互渗透，并作用到国家、企业和民生的方方面面，今天，人们用大数据来描述和定义信息爆炸时代产生的海量数据，以及在合理时间内达到撷取、管理、处理、并整理成为帮助人们处理事务和决策等更积极目的的资讯与知识。

美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据都是最近几年才产生的。2020年，全世界所产生的数据规模将达到今天的44倍。从这些数据每天增加的数量来看，世界目前已进入大数据时代。

大数据时代凸显了数据资源的重要意义。2012年奥巴马政府宣布投资2亿美元拉动大数据相关产业的发展，将“大数据战略”上升为国家战略，将大数据定义为“未来的新石油”，把对数据的占有和控制视为陆权、海权、空权之外的另一种国家核心资产。2013年，法国政府发布了其《数字化路线图》，列出了将会大力支持的5项战略性高新技术，“大数据”就是其中一项。

2012年，日本总务省发布2013年行动计划，明确提出“通过大数据和开放数据开创新市场”。联合国在2012年发布的大数据政务白皮书中指出，大数据对于联合国和各国政府来说是一个历史性的机遇。我国也将大数据产业看作为战略性产业，成立了“大数据专家委员会”。

在“大数据”2014年十大趋势预测中，包括了数据商品化与数据共享联盟化，大数据生态环境逐步发展等内容。同时，大数据专家委员会预测，2014年大数据在互联网和电子商务、金融(股市预测、金融分析)、健康医疗(流行病监控和预测等)、生物信息、制药等方面将会有令人瞩目的应用。

大数据时代是大数据价值充分发挥的时代。据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB=1024EB，1EB=1024PB），年增67％。世界上每分钟产生1700TB 的数据，但是吸引我们的不仅仅是这个庞大的数字本身，而是我们如何利用这些数据做些什么。

大数据可以运用到各行各业，在宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值；印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%；

在制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向，等等。

据麦肯锡公司测算：大数据将给美国医疗服务业带来3000亿美元的价值，使美国零售业净利润增长达到60%，使制造业产品开发、组装成本下降50%，而大数据所带来的新需求，将推动整个信息产业的创新发展；根据经济与商业研究中心的最新研究，大数据将为英国经济增加2160亿英镑（约合3467亿美元）以上的潜在收益。

2、大数据时代对采购和供应链带来的挑战和机遇

首先，商务环境和商务模式变得越来越复杂，且更加动荡、多样和个性化。其二，电子商务业务模式的飞速发展打破了国家疆界，使得跨境业务速增、商业活动频繁，同时伴随着数据量的剧增。。其三，大数据应用处理成为企业和社会竞争发展的重要焦点。其四，有效挖掘大数据成为时代面临的重要课题。最后，许多企业对大数据的重要性认识不足，没有充分了解其价值。

什么和大数据随之在整个供应链中被广泛应用2

供应链管理中，及时和准确的数据，为什么如此重要？

1 、供应链中数据的类型

数据有许多类型，其中有一种分类方法是把它分为静态和动态数据，前者包括了公司基本信息、产品型号、采购价格、BOM等等相对固定的信息。

后者主要是一些交易性的信息，比如生产线每日的产量、客户订单数量、仓库实际收货数量、运输所在位置等等变动的信息。

静态数据做到准确即可，没有实时性的要求，比如公司的名称一般不会发生变动，只需要确保公司地址、法人和开户银行等信息是正确的。

动态数据的要求就很高了，不仅要准确，还要能反映出每时每刻的实际情况。

大家都有网购的经验，在商品出库以后，快递公司会每隔一段时间刷新包裹所在位置，这是通过车载GPS定位实现的，然后根据卡车配送计划，大致上能给出派送的时间。通过一台卡车上的GPS，可以跟踪整车的货物，这是1对N的关系，因此实现动态数据的成本并不高。

离散型制造业的情况就复杂多了，一件商品需要从原材料供应商开始追溯，进入工厂以后，需要经过若干个不同生产加工中心，然后完成组装、检验，最终才能入库，配送给下游的经销商或零售商。

我们很少会在原材料上放置追踪定位装置，除非这批货物价值很高，或是有这方面的强制监管要求，比如药品。

如果想要跟踪生产进度，就需要使用工业4、0的技术，在每台设备上装传感器，完成加工后，系统自动上传数据。如果要在每台生产和内部搬运设备上都安装传感器，对于一家工厂来说负担太大，性价比不高，除了少数的行业标杆企业以外，对于大多数工厂来说，想要做实时数据的想法并不强烈。

2、 为什么供应链需要及时和准确的数据？

话虽如此，供应链对于数据及时和准确性是有很强的需求的，因为我们要在所有的生产、分销、采购和售后服务之间建立数据的无缝链接。除此之外，还有两个关键因素使得我们必须获得及时和准确性。

2、1增强供应链可视性

对于供应链上的玩家来说，关键的可视性问题包括了货物的预计生产出货时间，比如供应商承诺了30天交货，但是实际上他需要45天，因为一些原材料涨价了，供应商需要更多的时间在市场上找到货源，他不愿意买更贵的原料，因为这会增加成本，除非客户愿意接受供应商的调价请求。

原料和零部件库存的所处位置也属于可视性，客户需要根据这些信息，来安排后续的生产和销售计划，并且非常依赖于信息的准确性。当供应商承诺货物将会在某日送到客户工厂后，供应链就把这个信息输入系统，并以此为依据来制定生产计划，销售根据生产完成日期来通知客户，环环相扣。

一旦供应商的信息有误，货物晚于承诺时间到达，就会影响到供应链下游的安排，所谓的“计划赶不上变化”就发生了。

追踪交货期和库存位置仅是可视性的初阶水平，更深层次的要求是可以预警供应链中断风险。根据现有的信息，我们需要判断何时何地会出现缺货，以及对生产和销售的影响是什么。

比如，生产线缺少某种零部件，所以会停线4个小时。如果每小时产量是100套产品，每套售价是200元，那么造成的损失就等于4100200=80000元。

当然在现实世界中计算的方式更加复杂，某种原料的短缺会牵涉到N多产品和N多客户。如果我们能增强可视性，就能够预见到未来的潜在供应短缺，并能够在第一时间里作出反应。

要实现这点，就必须让数据及时和准确地在供应链上下游之间自动传输，尽量减少人为的干预的环节。

2、2提高计划的'有效性

预测计划的重要输入是历史销售记录，以数据为基础，结合预测模型，制定出中长期的预测。

对于制造企业来说，财务需要供应链提供的输入，来制定未来的商业计划和各类预算，比如库存、采购金额、运费等等。

底层数据的准确性非常重要，所有的计划都是在这些数据的基础上，配以数据模型，然后“加工”出来的。供应链会花费一定的时间在数据维护上，就是要确保基础数据的准确性。

我们知道预测有一个定律，近期的准确性高于远期的，就像是预测天气一样，天气预报上关于明天的天气是最准的，越往后准确性越低。

供应链为了增强预测准确性，就需要拿到最新的数据，这样做出来的计划准确性就越高。现在的需求波动越来越频繁，可能一天一个样，想要做出最准确的判断，必须用最新的数据。

3、 获取及时和准确的数据的关键事项

考虑到以上的两点动因，供应链一直在努力获得最及时和准确的数据。这里有几个需要特别留意的点值得大家关注。

3、1自动化数据采集

如有可能的话，应该尽量在实时情况下收集、传输数据。数据存储在供应链内部和外部的各个节点上，为了提升数据可靠性和及时性，最好的办法就是自动化采集。

在内部实施这点相对容易，只需要投资数字化工具，实施IT项目就可以实现。

在外部伙伴实施起来难度就高了，其中的最大阻力是害怕共享数据后的商业机密泄露。

供应商担心客户知道了他的上游供应商的信息，可能会跳过中间商，不让他继续赚差价。因此在做系统对接的时候，要确保只分享可以分享的数据，比如包装规格之类的。

3、2控制对相关数据的访问

根据使用者在公司中的职能，给予特定的数据访问权限，比如采购订单只能由采购计划员进行创建和修改，公司里的其他人只有查看的权限。

对于外部伙伴也是一样，客户可以查看供应商的库存商品数量信息，但他绝对不能访问商品的成本分析等商业机密。

3、3努力提升、维护数据的准确性

我们需要不断提升数据的准确性，其中关键在于数据采集和输入。我们要定期维护数据，比如系统中库存或是倒冲过账出现了负数，说明某些地方的数据存在问题，流程可能有漏洞，需要我们找到问题点并且尽快处理掉。

数据是供应链的根基，为我们制定各类计划提供了基础。实现准确和及时的数据虽然有点小贵，但是在供应链大中断时期（the Great Supply Chain Disruption），投资必然能带来相应的回报。

什么和大数据随之在整个供应链中被广泛应用3

大数据成为供应链利器

在中国供应链大数据份额中，零售业、制造业、服务业(非金融)、医疗业占比最多，约占83%市场份额，而能源仅占1%。而据易观智库预测，2016年中国供应链大数据市场将达到60亿左右(不含供应链金融部分)。

该报告把供应链大数据分为结构数据、非结构数据、传感器数据及新类型数据四种，涵盖了交易数据、时间段数据、库存数据、客户服务数据、位置数据等各个方面。报告显示，目前，大数据已经被广泛应用于包括物流、服务和金融等供应链环节。

有效推进物流模式变革

在供应链中，大数据的作用首先体现在物流中。2014年12月26日，中国物流信息中心公布的数据显示，1-11月，全国社会物流总额1969万亿元，按可比价格计算，增长83%，较上年同期回落13个百分点。而从近五年的情况来看，物流企业资产规模增速逐步放缓，物流企业经营效益偏弱。

在这种情况下，物流企业需要从价值延伸的角度提供超过客户预期的服务，以高效物流+增值服务的思路发展，而大数据是物流企业提供增值服务的基础要素。另外，随着众多专业化物流模式的兴起，降低供应链成本的核心将是数据资产的运用，大数据能够有效地推进高效率的`物流模式变革，是降低物流成本费用的有效手段。

利用大数据，企业可以与中国气象服务中心合作，收集高速公路信息，提供全国高速公路的天气预报和道路实况服务，可以优化行车路线，并对车辆和货物状态进行实时监控、评估和预警，对产品的运输进行智能追溯。

企业通过大数据，依据物流的时间、成本、服务、物流数据、客户需要等决策因素，可以对风险进行有效预测和评估，制定出合理、准确和科学的决策。利用物流数据，企业可以进行详细的区域和网店预测，帮助电商平台和快递公司迅速做出决策。

例如，亚马逊已经申请专利的“预测性物流”就是个利用大数据洞察用户需求的典范。“预测性物流”会检测用户的鼠标在商品上的停留时间，再综合考虑用户的购买历史、搜索记录、愿望清单等。

从而根据这些海量数据预判用户的购买行为，提前将这些商品运出仓库，放到托运中心寄存，等到用户真的下单了，就可以立即开始运送商品。通过利用大数据，亚马逊大幅缩减了商品的送货时间。

构建预测模式提高协同效应

根据大数据的分析，物流企业可以构建预测模式，实现对产品销量的精准预测，进而实现对未来库存量的精准计算，使工厂、区域市场、本地市场的库存配置更加合理，从而提高协同效应。企业可以通过充分掌握供应链物流过程中的所有基础数据，结合企业自身的资源、能力状况，对整个供应链进行必要的控制和监督。

例如，神州租车的车辆租用率曾经在达到一定程度后出现了瓶颈，一部分车辆出现空置状态。通过使用SAP推出的数据库平台SAPHana，神州租车优化了流程，将车辆使用率再次提高了15%。

提供精准金融服务

通过大数据技术进行行业分析和价格波动分析，能够尽早提出预警，规避信贷风险，可以对目标客户进行资信评估、审批短期小额贷款，以及精准金融和物流服务贷款。

例如，为了实现银行和中小外贸企业之间的对接、打破信息不对等的状态，阿里巴巴旗下一达通公司运用自身的系统处理能力，将监管、申请、投放、还款、放贷等相关融资工作纳入一个统一的信息化网络处理平台，通过全程掌控交易流程。

获取交易环节的详细数据和信息，以第三方服务平台的角色验证企业贸易真实性，实现各方信息交互、业务协同、交易透明，从而为解决中小企业融资难问题找到可行的方案。

在供应链金融中，大数据还可以提供诸多的增值服务。利用大数据，从源头获取用户需求信息，洞察潜在需求，为供应链提供信息咨询;可以对供应链金融上下游客户进行全方位信用管理，形成互动的监管和控制机制，降低交易成本和风险;对供应链绩效进行分析与预测，指导供应链管理，尤其是供应链协同数据的运营。

云计算[1]（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。[2]对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。[3]目前广为接受的是美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。中文名云计算外文名Cloud Computing目录1背景2特点3概念4简史5演化6影响▪ 软件开发的影响▪ 对软件测试的影响7服务形式▪ IaaS：基础设施即服务▪ PaaS：平台即服务▪ SaaS：软件即服务8应用▪ 云物联▪ 云安全▪ 云存储▪ 云游戏▪ 云计算与大数据9隐私10技术11相关问题12发展 1背景编辑云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、[4]网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机和网络技术发展融合的产物。2特点编辑云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。被普遍接受的云计算特点如下：(1) 超大规模“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。(2) 虚拟化云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。(3) 高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4) 通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。(5) 高可扩展性“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。(6) 按需服务“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。(7) 极其廉价由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。(8) 潜在的危险性云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别象银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要的前提。[5]3概念编辑原文：Cloud computing is a style of computing in which dynamically scalable and often virtualized resources are provided as a service over the Internet美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。XenSystem，以及在国外已经非常成熟的Intel 和IBM，各种“云计算”的应用服务范围正日渐扩大，影响力也无可估量。由于云计算应用的不断深入，以及对大数据处理需求的不断扩大，用户对性能强大、可用性高的4路、8路服务器需求出现明显提速，这一细分产品同比增速超过200%。IBM在这一领域占有相当的优势，更值得关注的是，浪潮仅以天梭TS850一款产品在2011实现了超过15%的市场占有率，以不到1%的差距排名IBM，HP之后，成为中国高端服务器三强。目前浪潮斥资近十亿元研发的32路高端容错服务器天梭K1系统尚未面世，其巨大的市场潜力有待挖掘。原文：Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (eg, networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction云计算常与网格计算、效用计算、自主计算相混淆。网格计算：分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机，常用来执行一些大型任务；效用计算：IT资源的一种打包和计费方式，比如按照计算、存储分别计量费用，像传统的电力等公共设施一样；自主计算：具有自我管理功能的计算机系统。事实上，许多云计算部署依赖于计算机集群（但与网格的组成、体系结构、目的、工作方式大相径庭），也吸收了自主计算和效用计算的特点。4简史编辑1983年，太阳电脑（Sun Microsystems）提出“网络是电脑”（“The Network is the Computer”）,2006年3月，亚马逊（Amazon）推出d性计算云（Elastic Compute Cloud；EC2）服务。2006年8月9日，Google首席执行官埃里克·施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。2007年10月，Google与IBM开始在美国大学校园，包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持（包括数百台个人电脑及BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支持包括Linux、Xen、Hadoop等开放源代码平台）。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。2008年1月30日，Google宣布在台湾启动“云计算学术计划”，将与台湾台大、交大等学校合作，将这种先进的大规模、快速将云计算技术推广到校园。2008年2月1日，IBM（NYSE: IBM）宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心（Cloud Computing Center）。2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠普实验室和雅虎。2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”（Cloud Computing）商标，此举旨在加强对这一未来可能重塑技术架构的术语的控制权。2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立计划，名为“可信任云计算计划（Trusted Cloud Initiative）”。2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划，微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至1104版本中。2011年2月，思科系统正式加入OpenStack，重点研制OpenStack的网络服务。5演化编辑云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网格计算和云计算。电厂模式阶段：电厂模式就好比是利用电厂的规模效应，来降低电力的价格，并让用户使用起来更方便，且无需维护和购买任何发电设备。效用计算阶段：在1960年左右，当时计算设备的价格是非常高昂的，远非普通企业、学校和机构所能承受，所以很多人产生了共享计算资源的想法。1961年，人工智能之父麦肯锡在一次会议上提出了“效用计算”这个概念，其核心借鉴了电厂模式，具体目标是整合分散在各地的服务器、存储系统以及应用程序来共享给多个用户，让用户能够像把灯泡插入灯座一样来使用计算机资源，并且根据其所使用的量来付费。但由于当时整个IT产业还处于发展初期，很多强大的技术还未诞生，比如互联网等，所以虽然这个想法一直为人称道，但是总体而言“叫好不叫座”。网格计算阶段：网格计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多低性能的计算机来处理，最后把这些计算结果综合起来攻克大问题。可惜的是，由于网格计算在商业模式、技术和安全性方面的不足，使得其并没有在工程界和商业界取得预期的成功。云计算阶段：云计算的核心与效用计算和网格计算非常类似，也是希望IT技术能像使用电力那样方便，并且成本低廉。但与效用计算和网格计算不同的是，现在在需求方面已经有了一定的规模，同时在技术方面也已经基本成熟了。6影响编辑软件开发的影响云计算环境下，软件技术、架构将发生显著变化。首先，所开发的软件必须与云相适应，能够与虚拟化为核心的云平台有机结合，适应运算能力、存储能力的动态变化;二是要能够满足大量用户的使用，包括数据存储结构、处理能力;三是要互联网化，基于互联网提供软件的应用;四是安全性要求更高，可以抗攻击，并能保护私有信息;五是可工作于移动终端、手机、网络计算机等各种环境。云计算环境下，软件开发的环境、工作模式也将发生变化。虽然，传统的软件工程理论不会发生根本性的变革，但基于云平台的开发工具、开发环境、开发平台将为敏捷开发、项目组内协同、异地开发等带来便利。软件开发项目组内可以利用云平台，实现在线开发，并通过云实现知识积累、软件复用。云计算环境下，软件产品的最终表现形式更为丰富多样。在云平台上，软件可以是一种服务，如SAAS，也可以就是一个Web Services，也可能是可以在线下载的应用，如苹果的在线商店中的应用软件，等等。[6]对软件测试的影响在云计算环境下，由于软件开发工作的变化，也必然对软件测试带来影响和变化。软件技术、架构发生变化，要求软件测试的关注点也应做出相对应的调整。软件测试在关注传统的软件质量的同时，还应该关注云计算环境所提出的新的质量要求，如软件动态适应能力、大量用户支持能力、安全性、多平台兼容性等。云计算环境下，软件开发工具、环境、工作模式发生了转变，也就要求软件测试的工具、环境、工作模式也应发生相应的转变。软件测试工具也应工作于云平台之上，测试工具的使用也应可通过云平台来进行，而不再是传统的本地方式;软件测试的环境也可移植到云平台上，通过云构建测试环境;软件测试也应该可以通过云实现协同、知识共享、测试复用。软件产品表现形式的变化，要求软件测试可以对不同形式的产品进行测试，如Web Services的测试，互联网应用的测试，移动智能终端内软件的测试等。云计算的普及和应用，还有很长的道路，社会认可、人们习惯、技术能力，甚至是社会管理制度等都应做出相应的改变，方能使云计算真正普及。但无论怎样，基于互联网的应用将会逐渐渗透到每个人的生活中，对我们的服务、生活都会带来深远的影响。要应对这种变化，我们也很有必要讨论我们业务未来的发展模式，确定我们努力的方向。[6]7服务形式编辑云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。IaaS：基础设施即服务IaaS(Infrastructure-as-a- Service)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务。PaaS：平台即服务PaaS(Platform-as-a- Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。SaaS：软件即服务SaaS(Software-as-a- Service)：软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。8应用编辑云物联“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网的两种业务模式：1．MAI（M2M Application Integration), 内部MaaS；2．MaaS（M2M As A Service), MMO, Multi-Tenants(多租户模型）。随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求：1．云计算：从计算中心到数据中心在物联网的初级阶段，PoP即可满足需求；2． 在物联网高级阶段，可能出现MVNO/MMO营运商（国外已存在多年），需要虚拟化云计算技术，SOA等技术的结合实现互联网的泛在服务：TaaS （everyTHING As A Service)。云安全云安全(Cloud Security)是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。“云安全”通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。云存储云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。云游戏云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。 就现今来说，云游戏还并没有成为家用机和掌机界的联网模式，因为至今X360仍然在使用LIVE，PS是PS NETWORK ，wii是wi-fi。但是几年后或十几年后，云计算取代这些东西成为其网络发展的终极方向的可能性非常大。 如果这种构想能够成为现实，那么主机厂商将变成网络运营商，他们不需要不断投入巨额的新主机研发费用，而只需要拿这笔钱中的很小一部分去升级自己的服务器就行了，但是达到的效果却是相差无几的。对于用户来说，他们可以省下购买主机的开支，但是得到的确是顶尖的游戏画面（当然对于视频输出方面的硬件必须过硬。）。你可以想象一台掌机和一台家用机拥有同样的画面，家用机和我们今天用的机顶盒一样简单，甚至家用机可以取代电视的机顶盒而成为次时代的电视收看方式。[7]云计算与大数据云计算与大数据[1]从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。[1]9隐私编辑云技术要求大量用户参与，也不可避免的出现了隐私问题。用户参与即要收集某些用户数据，从而引发了用户数据安全的担心。很多用户担心自己的隐私会被云技术收集。正因如此，在加入云计划时很多厂商都承诺尽量避免收集到用户隐私，即使收集到也不会泄露或使用。但不少人还是怀疑厂商的承诺，他们的怀疑也不是没有道理的。不少知名厂商都被指责有可能泄露用户隐私，并且泄露事件也确实时有发生。事实上，国家在大力提倡建设云计算中心的同时，对云技术与互联网的安全性也高度重视。发改委等7部联合发布《关于下一代互联网“十二五”发展建设的意见》中强调：互联网是与国民经济和社会发展高度相关的重大信息基础，加强网络与信息安全保障工作，全面提升下一代互联网安全性和可信性。加强域名服务器、数字证书服务器、关键应用服务器等网络核心基础设施的部署及管理；加强网络地址及域名系统的规划和管理；推进安全等级保护、个人信息保护、风险评估、灾难备份及恢复等工作，在网络规划、建设、运营、管理、维护、废弃等环节切实落实各项安全要求；加快发展信息安全产业，培育龙头骨干企业，加大人才培养和引进力度，提高信息安全技术保障和支撑能力。"10技术编辑1、编程模式2、海量数据分布存储技术3、海量数据管理技术4、虚拟化技术5、云计算平台管理技术11相关问题编辑数据隐私问题：如何保证存放在云服务提供商的数据隐私不被非法利用，不仅需要技术的改进，也需要法律的进一步完善数据安全性：有些数据是企业的商业机密，数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。用户的使用习惯：如何改变用户的使用习惯，使用户适应网络化的软硬件应用是长期而且艰巨的挑战。网络传输问题：云计算服务依赖网络，目前网速低且不稳定，使云应用的性能不高。云计算的普及依赖网络技术的发展。缺乏统一的技术标准：云计算的美好前景让传统IT厂商纷纷向云计算方向转型。但是由于缺乏统一的技术标准，尤其是接口标准，各厂商在开发各自产品和服务的过程中各自为政，这为将来不同服务之间的互连互通带来严峻挑战。云计算标准化体系草案形成2014[3]中国国际云计算技术和应用展览会3月4日在北京开幕，工信部软件服务业司司长陈伟在会上透露，云计算综合标准化技术体系目前已形成草案。工信部要从五方面促进云计算快速发展：一是要加强规划引导和合理布局，统筹规划全国云计算基础设施建设和云计算服务产业的发展;二是要加强关键核心技术研发，创新云计算服务模式，支持超大规模云计算 *** 作系统，核心芯片等基础技术的研发推动产业化;三是要面向具有迫切应用需求的重点领域，以大型云计算平台建设和重要行业试点示范、应用带动产业链上下游的协调发展;四是要加强网络基础设施建设;五是要加强标准体系建设，组织开展云计算以及服务的标准制定工作，构建云计算标准体系。12发展编辑近年来云计算作为一个新的技术趋势已经得到了快速的发展。云计算已经彻底改变了一个前所未有的工作方式，也改变了传统软件工程企业。以下几个方面可以说是云计算目前发展最受关注的几大方面：1、云计算扩展投资价值云计算简化了软件、业务流程和访问服务。比以往传统模式改变的更多，这是帮助企业 *** 作和优化他们的投资规模。这不仅是通过降低成本，有效的商业模式，或更大的灵活性 *** 作。有很多的企业通过云计算优化他们的投资。在相同的条件下，企业正扩展到更多创新与他们的IT能力，这将会帮助企业带来更多的商业机会。2、混合云计算的出现企业使用云计算(包括私人和公共)来补充他们的内部基础设施和应用程序。专家预测,这些服务将优化业务流程的性能。采用云服务是一个新开发的业务功能。在这些情况下，按比例缩小两者的优势将会成为一个共同的特点。3、以云为中心的设计有越来越多将组织设计作为云计算迁移的元素。这仅仅意味着需要优化云的经历是那些将优先采用云技术的企业。这是一个趋势，预计增长更随着云计算的扩展到不同的行业。4、移动云服务未来一定是移动，这样或那样的方式。作为移动设备的数量上升显著的——平板电脑、iphone和智能手机是在移动中发挥了更多的作用。许多这样的设备被用来规模业务流程、通信等功能。让云计算应用在所有的员工采取“移动”的方法。更多的云计算平台和api将成为可以是移动云服务。5、云安全人们担心他们在云端的数据安全。正因为此，用户应该期待看到更安全的应用程序和技术上来。许多新的加密技术，安全协议，在未来会越来越多的呈现出来。

1 IT系统的故障和崩溃：尽管科技使我们的生活更加便利，但仍然存在故障和崩溃的风险，这些故障和崩溃可能会导致重大经济损失和社会瘫痪。2 网络安全漏洞和数据泄露：由于网络技术的不断发展，黑客和网络攻击者的技术也在不断升级。无论是公司还是个人，安全漏洞和数据泄露都可能带来灾难性的后果。3 的局限性：尽管技术越来越发达，但它仍然存在很多局限性。例如，它无法完全模仿人类的情感和创造力，也无法替代人类的判断力和思维能力。4 环境污染和资源浪费：科技的发展也带来了环境污染和资源浪费的问题。电子垃圾和废水等问题已经变得越来越普遍，这需要我们探索更加可持续的科技发展模式。5 社交媒体的负面影响：虽然社交媒体已经成为我们日常生活的一部分，但它也带来了许多负面影响，如信息过载、虚假信息和沉迷等问题。6 数字鸿沟的存在：尽管科技发展迅速，但数字鸿沟依然存在，这意味着一些地区和群体无法享受到科技带来的好处。这需要我们更加努力地推动科技的普及和平等发展。

大数据知识的价值体现
数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
“大数据产业的生态环境正在加速构成。”同方股份有限公司物联网应用产业本部副总经理李小华先生在主题为”拥抱大数据共赢新时代”的2013年合作伙伴大会上如是说，并对此做了详细的分析。
首先看社会环境。信息技术向融合、智慧、绿色的方向发展。大数据伴随云计算、移动互联网领域的发展，产生新的管理模式和商业模式，能够创造出更大的价值，提升社会的管理水平和效率。纵观产业经济发展史，带来应用的技术一定能够发展繁荣的产业。
再看政策环境。政府高度重视，发展战略目标清晰明确。近期发布了一系列促进大数据产业发展的政策。《十二五国家战略新兴产业发展规划》中指出，加强海量数据处理软件为代表的技术软件开发；《物联网十二五发展产业规划》中把大数据信息处理等作为4项关键技术创新工程；《国家发改委关于加强和完善国家电子政务工程建设管理的意见》强调，政府数据中心的建设注重顶层设计，向跨部门、跨区域的协同互动和资源共享转变。
市场环境。前景巨大，空间广阔。结合对中国相关市场的研究，IDC认为中国在大数据领域具有巨大的市场潜力。越来越多的IT供应商将中国作为大数据业务发展的热点。目前，中国已经是全球最大的PC和智能手机市场，并且中国的互联网用户和移动互联网用户数量也是全球最多，这些终端设备每时每刻都在互联网上创造数据。庞大的数据容量不但令众多国际厂商重视中国市场，也使得中国的大数据应用具备了不同于国外的特点，大数据的机遇就在我们面前。
“数据，已经渗透到当今每一个行业和业务智能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 麦肯锡称。
数据挖掘的意义
这是一个关于零售帝国沃尔玛的故事。
沃尔玛，全世界最大的零售商，它的人数和美国联邦政府的雇员等量齐观，它的收入2010年突破了4000亿美元，超过了很多国家的GDP总值。在一次例行的数据分析之后，研究人员突然发现，跟尿布一起搭配购买最多的商品竟然是啤酒！这种关系令人费解，尿布喝啤酒风马牛不相及，这是一个真正的规律吗？
经过跟踪调查，研究人员终于发现事出有因。一些年轻的爸爸经常要到超市去购买婴儿尿布，有30%-40%的爸爸会顺便买点啤酒来犒劳自己，沃尔玛随后对啤酒和尿布进行了捆绑销售，不出意料，销售量双双增加。
这就是对历史数据进行挖掘的结果，反映的是数据层面的规律。沃尔玛是世界上最早应用数据挖掘技术的企业之一，也是数据挖掘技术的集大成者。
数据挖掘是指通过特定的计算机算法对大量的数据进行自动分析，从而揭示数据之间隐藏的关系、模式和趋势，为决策者提供新的知识。数据挖掘，把数据分析的范围从“已知”扩大到了“未知”，从“过去”推向了“将来”，它的发展和成熟，最终推动了“大数据”在各行各业的广泛应用。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。随着信息管理系统的普及，企业的规模越来越庞大，组织越来越复杂，市场更加多变，竞争更加激烈，信息是否及时准确、决策是否正确合理，对组织的兴衰存亡影响越来越大，一步走错可能全盘皆输。
数据服务于决策
大数据势不可挡，但践行不易。怎样发挥其价值？20世纪全世界最具影响力的科学家赫伯特。西蒙曾预测，在后工业时代，也就是信息时代，人类社会面临的的中心问题将从如何提高生产率转变为如何更好的利用信息来辅助决策。
如何将数据、信息转化为知识，扩大人类的理性，辅助决策？怎样从各个独立的信息系统中提取、整合有价值的数据，从而实现从数据到知识、从信息到知识、从知识到利润的转化？
面对记者的提问，同方副总裁周侠及物联网应用产业本部副总经理李小华对同方大数据理念做了深度的解读。
同方提出的以“数据资源体系”为核心的大数据战略，弥补了过去在不同行业中对管理和决策支持的空白。针对典型业务需求的六个产品应用平台，是数据从产生到服务全过程的六个最重要的结点，每个平台对一系列的产品。一系列掷地有声地落地实践以及“指标体系”、“顶层设计”、“独立于行业”的先进技术理念足以让企业、机构在具体业务实施时有“据”可依。
数据资源体系是独立于行业的，这是同方大数据理念最核心的一点。实现的方式就是构建独立于行业的通用数据生产流程——在不同的行业中抽取相同的数据资源体系。虽然不同行业的业务不同，所产生的数据及其所支撑的管理形态也千差万别，但从数据的获取，数据的整合，数据的加工，数据的综合应用，数据的服务和推广，数据处理的生命线流程来分析，所有行业的模式是一致的。如果在不同行业的业务和管理层之间，增加数据资源体系，通过数据资源体系的数据加工，把今天的数据和历史数据对接，把现在的数据和领导和企业机构关心的指标关联起来，把面向业务的数据转换成面向管理的数据，辅助于领导层的决策，真正实现了从数据到知识的转变，这样的数据资源体系是非常适合管理和决策使用的。
同方副总裁周侠表示，让数据产生价值，不是大数据自身能够解决的。首先要把数据组织成数据资源体系，再对数据进行层次、类别等方面的划分，同时，要把数据和数据的相关性标注出来，这种相关性是反映客观现象的核心。在此基础上，通过分析数据资源和相关部门的业务对接程度，以此发挥数据资源体系在管理、决策、监测及评价等方面的作用，从而产生大数据的大价值，为领导决策提供服务依据。
物联网应用产业本部副总李小华进一步给记者介绍了同方数据资源体系进行数据处理的流程——同方帮助企业建立数据中心建设的理念，在理念指导下建设配套机制，企业通过这个机制和相关数据进行对接，通过对接在不同的管理层级产生出来的效果设立指标体系，有指标体系以后创建监测评价机制。值得说明的是，指标体系是随着具体情况不断变更的，指标体系的变更会引领着后续的业务和数据自动的去适应新的指标体系，这是一个闭环的系统，在闭环系统里，企业可以发现有自身目标以及目标偏差，并可以依据目标偏差进行新的决策，以此减少目标偏差带来的损失。这样就形成了一个可循环的生态系统，帮助企业良性健康发展。

大数据时代
（巨量资料（IT行业术语））
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施
产生背景
编辑
进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”[2]
影响
编辑
大数据
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[3]
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满168亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为378万台，高于全球每天出生的婴儿数量371万……[1]
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为049ZB，2009年的数据量为08ZB，2010年增长为12ZB，2011年的数量更是高达182ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。[5] 每一天，全世界会上传超过5亿张，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。[5]
大数据的精髓
大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]
A不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);
B不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;
C不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。
数据价值
大数据时代，什么最贵
十年前，葛大爷曾说过，“21世纪什么最贵”——“人才”，深以为然。只是，十年后的今天，大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。[7]
一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
●1、华尔街根据民众情绪抛售股票；
●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
●3、银行根据求职网站的岗位数量，推断就业率；
●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。[1]
可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时，成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会有接近上帝俯视人间星火的感觉？”
这个问题我曾请教过刘建国，中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道，刘建国曾任至百度的首席技术官，在这样一家每天需应对网民各种搜索请求17亿次（2013年约为877亿次）的网站中，如果只是在后台静静端坐，可能片刻都不能安心吧。百度果然在提供搜索服务之外，逐渐增添了百度指数，后又建立了基于网民搜索数据的重要产品“贴吧”及百度统计产品等。
刘建国没有直接回答这个问题，他想了很久，似乎陷入了回忆，嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。
在数据可视化呈现方面，我最新接收到的故事是，一位在美国思科物流部门工作的朋友，很聪明的印度裔小伙子，被Facebook高价挖角，进入其数据研究小组。他后来惊讶地发现，里面全是来自物流企业、供应链方面的技术人员和专家，“Facebook想知道，能不能用物流的角度和流程的方式，分析用户的路径和行为。”
特征
编辑
数据量大（Volume）
第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）
第二个特征是数据类型繁多。包括网络日志、音频、视频、、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
速度快、时效高（Velocity）
第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]
案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球34亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、 Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。
产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：
1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。
IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”
在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。
事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。[1-2]
提供依据
编辑
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。
事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回d。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
应对措施
编辑
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面六个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapReduce，NoSQL等技术都是2013年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。
望采纳，谢谢

一年来，“数字”翅膀给美好中国带来许多可能，电子政务、数字经济、智慧社会，一场数字变革正在神州大地上激荡。 400个数字经济重大项目，3000亿元总投资，其中200个项目已开工建设，一批项目已建成运营。 数字经济成为中国经济新引擎 “截至去年底，我国数字经济规模达31万亿元，约占GDP的1/3。”杨小伟说。 一年来，我国实体经济数字化转型实现突破。云计算、工业互联网成为驱动企业数字化转型的重要动力，重点工业互联网平台平均工业设备连接数达到59万台，工业APP平均1500多个，注册户数平均超过50万，2018年平台相关业务收入平均约为5亿元。 一年来，北斗三号基本系统建成并提供全球服务，包括“一带一路”沿线国家和地区在内的世界各地均可享受到北斗系统服务。 新时育新产业，新产业澎湃新动能 数字经济，助力国内大市场形成。2018年全国实物商品网上零售额增长254%，增速比社会消费品零售总额高164个百分点。 数字经济，扩展就业新空间。数字经济下，新模式新业态孕育而生，带动配套服务业蓬勃发展，创造了大量灵活就业机会。 数字经济，助推产业转型升级。调研显示，有929%的企业应用数字化技术后利润率得到提升；2018年，工业互联网平台带动相关企业实现研发成本降低30%，生产效率提高10%，实现节能减排10%。 “我们可以看到，共享数字经济发展成果的作用持续提升，全球经济数字化转型已经成为一个大趋势。”国家发展改革委创新和高技术发展司司长伍浩说。 智慧社会让你我的生活更便捷 “靠面子”就能寄快递!今年4月，菜鸟驿站推出刷脸寄件，提前在线上发出寄件需求，到站授权后刷脸，实名认证，寄出快递，秒级响应。 凭脸就能取钱!日前，可以刷脸取款的ATM机悄然出现，摄像头精确计算瞳距、五官比例，有效防御照片、换脸视频、翻拍、面具攻击等风险，保证不会认错主人。 办理社保，“刷脸”就行!去年，“社保可信证明云平台”和“社保缴费随手查”应时而生，参保人员只需输入身份z号并“刷脸”即可随时随地生成防伪二维码和个人社保信息。 这一年，不少城市的生活发生改变。智慧社会目前正伴随全球智能化浪潮到来，让你我的生活更便捷。

大数据(big data,mega
data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。

---