大数据时代的来临
互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生36GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均01个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为564亿，手机网民为42亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。
在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析34亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅03%。
在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。
为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。
中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。近年来，随着信息化的逐步深入，物联网的概念被逐渐明确，我国各级政府出台一系列的政策对此加以鼓励和支持，物联网应用前景更为广阔，这也是当前信息接入设备市场新的增长热点。每一年都有科技界人士说下一年将成为物联网元年，而随着低功耗和高性能芯片的不断推出，特别是智能手机的普及，2014年可能将成为物联网的元年。
前瞻产业研究院发布的《2014-2018年 中国物联网行业细分市场需求与投资机会分析报告》指出，物联网广泛应用于绿色农业、工业监控、公共安全、城市管理、远程医疗、智能家居、智能交通、环境检测等领域。而无论是农业、工业生产、公共安全，还是交通监控，都存在很多控制信息及过程信息，需要通过各种接入设备接入到物联网网络层面，以实现各种信息的汇总及处理。目前信息接入设备在物联网领域应用较为明确的包括智能交通、智能建筑、远程医疗、智能机房基站等。一、什么是万物互联
近年以来，万物互联一词持续都是热点，人人均在提万物互联，但绝大多数的人并没能实际上搞明白万物互联的含义。万物互联代表什么？
按照度娘的话来说：万物互联（InternetofThings，简单来说就是IoT）是说凭借各式各样信息智能传感器、射频识别技术、gps的应用、光线传感器、激光扫描器等各式各样装置设备与技术，实时的采集所有的所需管控、接触、互动的物体或进程，采集其声、光、热、电、力学、化学、生物、定位等各式各样所需的信息，凭借各类可能的网络接入，满足物与物、物与人的泛在接触，满足对物品和进程的智能化感知、识别和管理。万物互联是一个源于大数据、传统电信网等的信息承载体，它让每一个可能被独立寻址的普通物理对象演变成互联互通的网络。
如果抛开专业的名词解释，用深入浅出的话来概括，即物与物之间满足直接交流。
二、万物互联的应用
万物互联究竟可以做什么？“物物连通，万物互联”，在大数据应用基础上的廷伸和发展的网络，将各样信息传感技术设施设备与网络紧密结合起来而成为的一个硕大网络，满足几乎所有的时间、几乎所有的地点，人、机、物的互联互通。我们可以使用信息传感技术设施设备，按约定的协议，将任何物体与网络相互连结，物体使用信息传播媒介开始信息交换和通信，以实现智能物联识别、定位、侦测、防控等功能。
以下介绍一下几种重点应用行业：
（一）云教育
在智能硬件的高速发展下，我们经常可以听到“智慧社区”、“智能交通”、“智慧工业”或“智慧课堂”等词汇，它们都是物联网应用与其他行业的紧密结合。我们以校园为例，打造出一个智能硬件时期下的“智慧课堂”，将可以给几乎所有接受文化教育的同学带来另外一种的体验。
智能硬件时期的来临，让传统课堂进而改建成智慧课堂。智慧课堂没有了黑板、粉笔、教材，有的是一个像超大屏的电子白板，老师手指一点，几乎所有的教程以文图并茂、声象紧密结合的方式出现在同学的面前。关键的是，同学们再也无需背着厚重的书包，只需要携带一个“电子书包”就可以轻松上课。
（二）智能穿戴设备
简而言之，智能穿戴设备就是指穿戴在身体上的专用设备，如电子手表、智能手环、AR眼镜等。采用智能穿戴设备可以记录查询穿戴者的 健康 指数、运动后的运动强度、本人看到的事物及听见的事物。智能智能穿戴设备和背后的物联网应用，可以扩展穿戴者的能力。而根据专用设备之间的互连，也在形成新的场景，例如穿戴者可以根据专用设备自行将每次的运动数据信息发送到健身教练，进而得到新的健身计划。现如今，可穿戴技术的生态体系飞速发展。夹扣式、整合式、包裹式和滑盖式技术可以搜集和分析数据，将消息发送到其他技术，并承担其他责任，以使用户的生活更轻松，更惬意。
（三）智能家居系统
伴随着智能时代的来临，智能化建筑、智能家居产品、智能家居系统已经逐渐融入我们的日常生活。智能家居系统是以家为平台,兼具建筑、自动化,智能于一身的高效、惬意、安全、方便的居住环境，是物联网应用偏向生活的重点应用场景之一。伴随着物联网应用的发展壮大，智能家居系统可给予的场景数不胜数，如根据手机可以远程 *** 作家中的监控摄像头，查看家中状况，甚至于可以根据监控摄像头和家里人闲聊；根据红外开关对家电进行远程 *** 作，如提早打开电饭煲，完成下班回家立刻有饭吃；根据智能指纹锁远程控制对门锁进行控制，掌握何人何时回家。运用物联网应用可完成智能化家居，使生活愈发惬意、方便和安全。三、物联网的发展
物联网正在积极塑造工业生产和消费世界，从零售到医疗保健，从金融到物流，智能技术已遍及每个业务和消费者领域。随着国家的支持力度不断加码，物联网将得到前所未有的发展。
数智时代，万物互联正全面加速，传统网络边界逐步打破，万物连接、交互、协同的多元网络需求快速增加。联通沃卡惠致力于构建信息、人、物、场景到服务的“全连接”能力，全面汇聚融合视音频等各类物联感知数据，以及业务终端的信息互联数据，提供多元互通的智慧物联网络，推动数智时代网络“管道升级、交互增强、安全强化和平台融合”的全面升级，为千行百业的数智化转型升级提供全场景适配的端到端产品、解决方案以及价值连接服务。
经历了计算机、互联网技术与无线通信网络两次的浪潮，物联网技术被称作信息技术产业第三次浪潮，代表了新一代互联网发展技术。我们不清楚以后的物联网技术会如何影响人们的生活，但可以预见的是物联网技术已经在开启更多可能的大门，让人们的生活更加智慧、高效。●传感器技术：价格低廉、性能良好的传感器是物联网应用的基石，物联网的发展要求更准确、更智能、更高效以及兼容性更强的传感器技术。智能数据采集技术是传感器技术发展的一个新方向。信息的泛在化对传感器和传感装置提出了更高的要求。具体如，微型化：元器件的微小型化，要求节约资源与能源；智能化：具备自校准、自诊断、自学习、自决策、自适应和自组织等人工智能技术；低功耗与能量获取技术：供电方式为电池、阳光、风、温度、振动等多种方式。
●设备兼容技术：大部分情况下，企业会基于现有的工业系统建造工业物联网，如何实现工业物联网中所用的传感器能够与原有设备已应用的传感器相兼容是工业物联网推广所面临的问题之一。传感器的兼容主要指数据格式的兼容与通信协议的兼容，兼容关键是标准的统一。目前，工业现场总线网络中普遍采用的如Profibus、Modus协议，已经较好地解决了兼容性问题，大多数工业设备生产厂商基于这些协议开发了各类传感器、控制器等。近年来，随着工业无线传感器网络应用日渐普遍，当前工业无线的WirelessHART、ISA100．11a以及wIA—PA3大标准均兼容了IEEE802．15．4无线网络协议，并提供了隧道传输机制兼容现有的通信协议，丰富了工业物联网系统的组成与功能。
●网络技术：网络是构成工业物联网的核心之一，数据在系统不同的层次之间通过网络进行传输。网络分为有线网络与无线网络，有线网络一般应用于数据处理中心的集群服务器、工厂内部的局域网以及部分现场总线控制网络中，能提供高速率高带宽的数据传输通道。工业无线传感器网络则是一种新兴的利用无线技术进行传感器组网以及数据传输的技术，无线网络技术的应用可以使得工业传感器的布线成本大大降低，有利于传感器功能的扩展，因此吸引了国内外众多企业和科研机构的关注。
传统的有线网络技术较为成熟，在众多场合已得到了应用验证。然而，当无线网络技术应用于工业环境时，会面临如下问题：工业现场强电磁干扰、开放的无线环境让工业机器更容易受到攻击威胁、部分控制数据需要实时传输。相对于有线网络，工业无线传感器网络技术则正处在发展阶段，它解决了传统的无线网络技术应用于工业现场环境时的不足，提供了高可靠性、高实时性以及高安全性，主要技术包括：自适应跳频、确实性通信资源调度、无线路由、低开销高精度时间同步、网络分层数据加密、网络异常监视与报警以及设备入网鉴权等。
●信息处理技术：工业信息出现爆炸式增长，工业生产过程中产生的大量数据对于工业物联网来说是一个挑战，如何有效处理、分析、记录这些数据，提炼出对工业生产有指导性建议的结果，是工业物联网的核心所在，也是难点所在。
当前业界大数据处理技术有很多，如SAP的BW系统在一定程度上解决了大数据给企业生产运营带来的问题。数据融合和数据挖掘技术的发展也使海量信息处理变得更为智能、高效。工业物联网泛在感知的特点使得人也成为了被感知的对象，通过对环境数据的分析以及用户行为的建模，可以实现生产设计、制造、管理过程中的人一人、人一机和机一机之间的行为、环境和状态感知，更加真实地反映出工业生产过程中的细节变化，以便得出更准确的分析结果。
●安全技术：工业物联网安全主要涉及数据采集安全、网络传输安全等过程，信息安全对于企业运营起到关键作用，例如在冶金、煤炭、石油等行业采集数据需要长时问的连续运行，如何保证在数据采集以及传输过程中信息的准确无误是工业物联网应用于实际生产的前提。
这是因为很多学校把它归为计算类专业，同时学物联网和做物联网是两码事。
很多院校在专业设置方面存在盲目、浮躁，喜欢抓热点的误区，经常性的把一些热门行业，热门方向，甚至没有明晰框架和概念的情况下就设置成专业，以此来吸引生源和研究资金，比如大数据、机器人、人工智能、电子商务等专业。
物联网能包含的范围太大，而且作为一项新兴科技是不断变化和延伸的，根本不是固有的、静态的。以上任何一个方向、岗位都是博大精深探索无止境的，跟很多岗位都是有密切关系的，很多专业都可以从事的。想从事物联网相关岗位，硕士是标配，很多岗位博士才能做，想本科毕业就做这个基本不现实，或者做个皮毛。
物联网的发展阶段
物联网产业尚处于初创阶段，虽其应用前景非常广阔，未来将成为我国新型战略产业，但其标准、技术、商业模式以及配套政策等还远远没有成熟。物联网的关键是“大集成”应用，而物联网大集成应用实现的关键是中间件和解决方案。
目前的挑战在于用标准化的数据交换实现这些已存在的和新建的系统之间的互联互通和“管控营一体化”。物联网发展已到产业化、标准化的关键时期，在产业化和核心关键技术方面与发达国家有一定差距，实施以感知为核心的物联网标准化战略迫在眉睫。
要依托现有的国际标准化优势，加快推动形成“共性平台+应用子集”产业结构。在国家层面，应加强统一，重点突破核心技术、规模产业发展路线、商业模式等关键点。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）