大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生36GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均01个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为564亿，手机网民为42亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析34亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅03%。
在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。
中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。从物联网的定义及各类技术所起的作用来看，物联网的关键核心技术应该是无线传感器网络（WSN）技术，主要原因是：WSN技术贯穿物联网的全部三个层次，是其它层面技术的整合应用，对物联网的发展有提纲挈领的作用。WSN技术的发展，能为其它层面的技术提供更明确的方向。 以下是实现物联网的五大核心技术：核心技术之感知层：传感器技术、射频识别技术、二维码技术、微机电系统和GPS技术1传感器技术传感技术同计算机技术与通信技术一起被称为信息技术的三大技术。从仿生学观点，如果把计算机看成处理和识别信息的“大脑”，把通信系统看成传递信息的“神经系统”的话，那么传感器就是“感觉器官”。微型无线传感技术以及以此组件的传感网是物联网感知层的重要技术手段。2射频识别（RFID）技术射频识别（Radio Frequency Identification，简称RFID）是通过无线电信号识别特定目标并读写相关数据的无线通讯技术。在国内，RFID已经在身份z、电子收费系统和物流管理等领域有了广泛应用。RFID技术市场应用成熟，标签成本低廉，但RFID一般不具备数据采集功能，多用来进行物品的甄别和属性的存储，且在金属和液体环境下应用受限，RFID技术属于物联网的信息采集层技术。3微机电系统（MEMS）微机电系统是指利用大规模集成电路制造工艺，经过微米级加工，得到的集微型传感器、执行器以及信号处理和控制电路、接口电路、通信和电源于一体的微型机电系统。MEMS技术属于物联网的信息采集层技术。4GPS技术GPS技术又称为全球定位系统，是具有海、陆、空全方位实时三维导航与定位能力的新一代卫星导航与定位系统。GPS作为移动感知技术，是物联网延伸到移动物体采集移动物体信息的重要技术，更是物流智能化、智能交通的重要技术。核心技术之信息汇聚层：传感网自组网技术、局域网技术及广域网技术1无线传感器网络（WSN）技术无线传感器网络（Wireless Sensor Network，简称WSN）的基本功能是将一系列空间分散的传感器单元通过自组织的无线网络进行连接，从而将各自采集的数据通过无线网络进行传输汇总，以实现对空间分散范围内的物理或环境状况的协作监控，并根据这些信息进行相应的分析和处理。WSN技术贯穿物联网的三个层面，是结合了计算、通信、传感器三项技术的一门新兴技术，具有较大范围、低成本、高密度、灵活布设、实时采集、全天候工作的优势，且对物联网其他产业具有显著带动作用。2Wi-Fi Wi-Fi（Wireless Fidelity，无线保真技术）是一种基于接入点（Access Point）的无线网络结构，目前已有一定规模的布设，在部分应用中与传感器相结合。Wi-Fi技术属于物联网的信息汇总层技术。3GPRS GPRS（General Packet Radio Service，通用分组无线服务）是一种基于GSM移动通信网络的数据服务技术。GPRS技术可以充分利用现有GSM网络，目前在很多领域有广泛应用，在物联网领域也有部分应用。GPRS技术属于物联网的信息汇总层技术。
核心技术之传输层：通信网、互联网、3G网络、GPRS网络、广电网络、NGB 1通信网通信网是一种使用交换设备、传输设备，将地理上分散用户终端设备互连起来实现通信和信息交换的系统。通信最基本的形式是在点与点之间建立通信系统，但这不能称为通信网，只有将许多的通信系统（传输系统）通过交换系统按一定拓扑结构组合在一起才能称之为通信。也就是说，有了交换系统才能使某一地区内任意两个终端用户相互接续，才能组成通信网。23G网络3G是英文the 3rd Generation的缩写，指第三代移动通信技术。相对第一代模拟制式手机（1G）和第二代GSM、CDMA等数字手机，第三代手机（3G）是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统。3GPRS网络这是一种基于GSM系统的无线分组交换技术，提供端到端的、广域的无线IP连接。通俗的讲，GPRS是一项高速数据处理的科技，方法是以“分组”的形式传送资料到用户手上。虽然GPRS是作为现有GSM网络向第三代移动通信演变的过渡技术，但是它在许多方面都具有显著的优势。4广电网络广电网通常是各地有线电视网络公司（台）负责运营的，通过HFC（光纤+同轴电缆混合网）网向用户提供宽带服务及电视服务网络，宽带可通过CableModem连接到计算机，理论到户最高速率38M，实际速度要视网络情况而定。5NGB广域网络中国下一代广播电视网（NGB）是以有线电视数字化和移动多媒体广播（CMMB）的成果为基础，以自主创新的“高性能带宽信息网”核心技术为支撑，构建适合我国国情的、三网融合的、有线无线相结合的、全程全网的下一代广播电视网络。核心技术之运营层：专家系统、云计算、API接口、客户管理、GIS、ERP 1企业资源计划（ERP）ERP是指建立在信息技术基础上，以系统化的管理思想，为企业决策层及员工提供决策运行手段的管理平台。ERP技术属于物联网的信息处理层技术。2专家系统（Exper System）专家系统是一个含有大量的某个领域专家水平的知识与经验，能够利用人类专家的知识和经验来处理该领域问题的智能计算机程序系统。属于信息处理层技术。3云计算云计算概念间由Google提出的，这是一个美丽的网络应用模式，是指IT基础设施的交付和使用，通过网络以按需、易扩展的方式获得所需的资源。核心技术之应用层：垂直行业应用、系统集成、资源打包应用层主要是根据行业特点，借助互联网技术手段，开发各类的行业应用解决方案，将物联网的优势与行业的生产经营、信息化管理、组织调度结合起来，形成各类的物联网解决方案，构建智能化的行业应用。如交通行业，涉及的就是智能交通技术；电力行业采用的是智能电网技术；物流行业采用的智慧物流技术等。行业的应用还要更多涉及系统集成技术、资源打包技术等。
参考资料>物联网架构可分为三层：感知层、网络层和应用层。感知层由各种传感器构成，包括温湿度传感器、二维码标签、RFID标签和读写器、摄像头、红外线、GPS等感知终端。感知层是物联网识别物体、采集信息的来源。网络层由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。应用层是物联网和用户的接口，它与行业需求结合，实现物联网的智能应用。其核心技术又可以细分为六层，如右图：和传统的互联网相比，物联网有其鲜明的特征。首先，它是各种感知技术的广泛应用。物联网上部署了海量的多种类型传感器，每个传感器都是一个信息源，不同类别的传感器所捕获的信息内容和信息格式不同。传感器获得的数据具有实时性，按一定的频率周期性的采集环境信息，不断更新数据。其次，它是一种建立在互联网上的泛在网络。物联网技术的重要基础和核心仍旧是互联网，通过各种有线和无线网络与互联网融合，将物体的信息实时准确地传递出去。在物联网上的传感器定时采集的信息需要通过网络传输，由于其数量极其庞大，形成了海量信息，在传输过程中，为了保障数据的正确性和及时性，必须适应各种异构网络和协议。还有，物联网不仅仅提供了传感器的连接，其本身也具有智能处理的能力，能够对物体实施智能控制。物联网将传感器和智能处理相结合，利用云计算、模式识别等各种智能技术，扩充其应用领域。从传感器获得的海量信息中分析、加工和处理出有意义的数据，以适应不同用户的不同需求，发现新的应用领域和应用模式。此外，物联网的精神实质是提供不拘泥于任何场合，任何时间的应用场景与用户的自由互动，它依托云服务平台和互通互联的嵌入式处理软件，弱化技术色彩，强化与用户之间的良性互动，更佳的用户体验，更及时的数据采集和分析建议，更自如的工作和生活，是通往智能生活的物理支撑。这里的“物”要满足以下条件才能够被纳入“物联网”的范围：1、要有数据传输通路；2、要有一定的存储功能；3、要有CPU；4、要有 *** 作系统；5、要有专门的应用程序；6、遵循物联网的通信协议；7、在世界网络中有可被识别的唯一编号。物联网概念这几年可谓是炙手可热，物联网家电也是风生水起，从狭义上讲，物联网家电是指应用了物联网技术的家电产品。从广义上讲，是指能够与互联网联接，通过互联网对其进行控制、管理的家电产品，并且家电产品本身与电网、使用者、处置的物品等能够实现物物相联，通过智慧的方式，达成人们追求的低碳、健康、舒适、便捷的生活方式。物联网是在计算机互联网的基础上，利用RFID、无线数据通信等技术，构造一个覆盖世界上万事万物的“InternetofThings”。在这个网络中，物品(商品)能够彼此进行“交流”，而无需人的干预。其实质是利用射频自动识别(RFID)技术，通过计算机互联网实现物品(商品)的自动识别和信息的互联与共享。而RFID，正是能够让物品“开口说话”的一种技术。在“物联网”的构想中，RFID标签中存储着规范而具有互用性的信息，通过无线数据通信网络把它们自动采集到中央信息系统，实现物品(商品)的识别，进而通过开放性的计算机网络实现信息交换和共享，实现对物品的“透明”管理。物联网的含义从两化融合这个角度分析物联网的涵义：其一：工业化的基础是自动化，自动化领域发展了近百年,理论、实践都已经非常完善了。特别是随着现代大型工业生产自动化的不断兴起和过程控制要求的日益复杂营运而生的DCS控制系统，更是计算机技术，系统控制技术、网络通讯技术和多媒体技术结合的产物。DCS的理念是分散控制，集中管理。虽然自动设备全部联网，并能在控制中心监控信息而通过 *** 作员来集中管理。但 *** 作员的水平决定了整个系统的优化程度。有经验的 *** 作员可以使生产最优，而缺乏经验的 *** 作员只是保证了生产的安全性。是否有法做到分散控制，集中优化管理？需要通过物联网根据所有监控信息，通过分析与优化技术，找到最优的控制方法，是物联网可以带给DCS控制系统的。其二：IT信息发展的前期其信息服务对象主要是人，其主要解决的问题是解决信息孤岛问题。当为人服务的信息孤岛问题解决后，是要在更大范围解决信息孤岛问题。就是要将物与人的信息打通。人获取了信息之后，可以根据信息判断,做出决策，从而触发下一步 *** 作；但由于人存在个体差异，对于同样的信息，不同的人做出的决策是不同的，如何从信息中获得最优的决策？另外物获得了信息是不能做出决策的，如何让物在获得了信息之后具有决策能力？智能分析与优化技术是解决这个问题的一个手段，在获得信息后，依据历史经验以及理论模型，快速做出最优决策。数据的分析与优化技术在两化融合的工业化与信息化方面都有旺盛的需求。物联网智库认为物联网的定义源于IBM的智慧地球方案，十二五规划中九大试点行业全部都是行业的智能化。无论智慧方案，还是智能行业，智能的根本离不开数据分析与优化技术。数据的分析与优化是物联网的关键技术之一，也是未来物联网发挥价值的关键点。物联网就是各行各业的智能化。私有物联网：一般面向单一机构内部提供服务；公有物联网：基于互联网向公众或大型用户群体提供服务；社区物联网：向一个关联的“社区”或机构群体（如一个城市政府下属的各委局：如公安局、交通局、环保局、城管局等）提供服务；混合物联网：是上述的两种或以上的物联网的组合，但后台有统一运维实体；医学物联网：是将物联网技术应用于医疗、健康管理、老年健康照护等领域；建筑物联网：是将物联网技术应用于路灯照明管控、景观照明管控、楼宇照明管控、广场照明管控等领域。
传统数据采集方式可以应用于大数据采集，但需要结合新的技术手段进行升级和优化。下面举例说明：
传统的数据采集方式是通过调查问卷、访谈、观察和文献资料等方式进行，这些方法可以侧重于深入了解用户的需求和行为，但是采集效率低，覆盖面窄。
在大数据时代，可以结合互联网技术和机器学习算法等新技术进行数据采集。例如，通过网络爬虫技术获取用户在社交媒体、电商网站等网站上的数据，从而实现海量数据的快速采集和分析。
传统的数据采集方式还包括传统的调查问卷、访谈等方式，但这些方法往往存在样本偏差、主观性强等问题。
在大数据时代，可以利用互联网技术和大数据分析平台进行数据采集和分析。例如，可利用社交媒体平台上的用户数据进行分析，得到更加客观、全面的数据结论。
传统的数据采集方式还包括实验室实验、调查研究等方法，但这些方法需要耗费大量的时间和精力，不适用于大规模数据的采集和分析。
在大数据时代，可以利用物联网技术和传感器等设备进行数据采集。例如，可利用传感器采集气象数据、交通数据等信息，从而实现大规模的数据采集和分析。
综上所述，传统的数据采集方式可以通过结合新的技术手段进行升级和优化，适用于大数据时代的数据采集和分析。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）