大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满188亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生36GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均01个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为564亿,手机网民为42亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告,全球企业的信息存储总量已达22ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析34亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅03%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。现状:我国已形成基本齐全的物联网产业体系,部分领域已形成一定市场规模,网络通信相关技术和产业支持能力与国外差距相对较小,传感器、RFID等感知端制造产业、高端软件和集成服务与国外差距相对较大。仪器仪表、嵌入式系统、软件与集成服务等产业虽已有较大规模,但真正与物联网相关的设备和服务尚在起步。
我国已形成了较完整的敏感元件与传感器产业,产业规模稳步增长。我国形成了RFID低频和高频的完整产业链以及以京、沪、粤为主的空间布局,2009年市场规模达到85亿元并成为全球第3大市场。我国仪器仪表产业连续多年实现20%以上的增长,2009年产值超过5000亿元,企业数量为5000多个,小型企业数量占比达到90%。
在物联网网络通信服务业领域,我国物联网M2M网络服务保持高速增长势头,目前M2M 终端数已超过1000万,年均增长率超过80%,应用领域覆盖公共安全、城市管理、能源环保、交通运输、公共事业、农业服务、医疗卫生、教育文化、旅游等多个领域,未来几年仍将保持快速发展,预计“十二五”期间将突破亿级。三大电信企业在资源配置方面积极筹备,加紧建设M2M管理平台并推出终端通信协议标准,以推进M2M业务发展。国内通信模块厂商发展较为成熟,正依托现有优势向物联网领域扩展。国内M2M终端传感器及芯片厂商规模相对较小,处于起步阶段。尽管我国在物联网相关通信服务领域取得了不错的进展,但应在M2M通信网络技术、认知无线电和环境感知技术、传感器与通信集成终端、RFID与通信集成终端、物联网网关等方面提升服务能力和服务水平。
在物联网应用基础设施服务业领域,虽然不是所有云计算产业都可纳入物联网产业范畴,但云计算是物联网应用基础设施服务业中的重要组成部分,物联网的大规模应用也将大大推动云计算服务发展。国内云计算商业服务尚在起步,SaaS已形成一定规模,而真正具有云计算意义的IaaS和PaaS商业服务还未开展。目前,我国在云计算服务的基础设施(IDC 中心)建设、云计算软硬件产业支持和超大规模云计算服务的核心技术方面与发达国家存在差距。云安全方面,我国企业具有一定的特点和优势。随着物联网应用的规模推进、互联网快速发展和国家信息化进程的不断深入,我国云计算服务将形成巨大的市场需求空间,“十二五”期间将呈现快速发展态势。
在物联网相关信息处理与数据服务业领域,信息处理与数据分析的关键技术主要是数据库与商业智能。我国数据库产业非常薄弱,知名企业只有三四家,只占国内市场10%左右的份额。商业智能(BI)领域我国虽然技术相对落后,但已形成了一定规模,国内现有BI厂商有近500家,但高端市场仍由国际厂商垄断。整体而言,我国拥有自主知识产权的数据库产品、BI产品和掌握关键技术的软件企业少,产业链不完整,缺乏产品线完整、软硬结合、竞争力强的国际企业。
在物联网应用服务业领域,整体上我国物联网应用服务业尚未成形,已有物联网应用大多是各行业或企业的内部化服务,未形成社会化、商业化的服务业,外部化的物联网应用服务业还需一个较长时期的市场培育,并需突破成本、安全、行业壁垒等一系列制约。
综上所述,我国尚未形成真正意义的物联网产业形态和爆发点,物联网有形成巨大市场的潜力,但潜在空间转化为现实市场还需要较长时间培育,关键点是通过技术和应用创新形成新兴业态和新增市场。我们预计,“十二五”期末我国物联网相关产业规模将达到5000多亿元规模,而真正可能形成万亿元级规模的时间节点预计在“十三五”后期。
大势所趋:一方面认为物联网技术目前并不能降低物流企业的经营成本,另一方面多位接受采访的人士认为物联网的发展是阻挡不住的。
物联网的出现不管你欢不欢迎,赞不赞成,这个趋势是阻挡不住的,就像当年的计算机互联网的出现,再比如近几年云计算的发展。”逄诗铭对记者说。
逄诗铭认为,目前中国物联网产业规模据他个人估计已达两三千亿,很快会上升为万亿规模,再过几年就会到五六万亿。
中国RFID产业联盟秘书长欧阳宇在接受记者采访时也认为,物联网是一个宽泛的概念,目前日常生活中已经广泛地应用到了物联网技术,比如说门禁、高速公路上的ETC系统、公交智能卡马上要推出的智能电表等,都是物联网技术的运用。而在物流行业中,仓储配送、集装箱监控、运输调配等多个环节都已经运用到了物联网技术。
“一个新技术的应用是逐步推进的,不应该纠缠于物联网技术到底是什么,更不能因为现在应用程度不高就否定这个新技术。”欧阳宇说。
逄诗铭认为,物联网技术现阶段虽然并不能降低实际运费,但是提高了整个供应链和物流管理的效率,从长远来看,必然会大面积应用到物流行业中。
“换一个角度来看物流成本。举个很简单的例子,传统物流中丢失了两个集装箱,给货主赔的钱这算不算成本?但是我们给集装箱装上电子封条,采用视频识别与监控技术进行全程的监控,这个货品就不可能丢失,即使丢失了也容易追索回来。”中国物流与采购联合会副会长戴定一说。
近日,铁道部部长盛光祖与交通运输部部长李盛霖在北京签署了《关于共同推进铁水联运发展合作协议》。
多名专家认为,铁道部和交通部共同推进铁水联运发展,将有效改进目前我国线性物流运输模式,促进铁路、公路、水路、航空的联网运输能力,提高运输效率和服务水平,从而降低物流成本。
而在多渠道联运这个信息平台的建设中,物联网技术的应用将是必不可少的手段。物联网是新一代信息技术的重要组成部分,也是“信息化”时代的重要发展阶段。其英文名称是:“Internet of things(IoT)”。
顾名思义,物联网就是物物相连的互联网。
这有两层意思:
其一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;
其二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信,也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术,广泛应用于网络的融合中,也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。
因此,应用创新是物联网发展的核心,以用户体验为核心的创新20是物联网发展的灵魂。
在物联网应用中有三项关键技术
1、传感器技术:这也是计算机应用中的关键技术。大家都知道,到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。
2、RFID标签:也是一种传感器技术,RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术,RFID在自动识别、物品物流管理有着广阔的应用前景。
3、嵌入式系统技术:是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变,以嵌入式系统为特征的智能终端产品随处可见;小到人们身边的MP3,大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活,推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻,传感器相当于人的眼睛、鼻子、皮肤等感官,网络就是神经系统用来传递信息,嵌入式系统则是人的大脑,在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。
主流智能硬件产品主要有以下分类:
1、智能家居
智能家居是以住宅作为为基础的 *** 作平台,并且综合我们的房屋建设、网络通信以及家电信息等通过高科技技术达到设备能够自动化管理。包括智能家电、智能影音、智能遮阳、智能灯光、智能清洁、智能恒温、智能门禁、智能监控、智能防盗等。智能家居的基础是物联网,核心在于一体化控制。目前智能家居的发展还处于各个品类独立发展的阶段。
2、智能电视
智能电视不仅仅实现我们一般电视的播放功能,还能通过互联网连接实现智能 *** 作的功能。例如可以自行下载应用程序、安装或者卸载各种软件等等。
3、智能手机
智能硬件之始,起于智能手机。
4、智能汽车
智能汽车其实就是在我们的普通汽车上安装了传感器、摄像以及执行器等一系列先进的装置。当我们使用时可以通过车载传感系统实现与人和车之间信息的交换,使汽车能够感知并且能够自行分析目前的汽车行驶情况,这替代了人的 *** 作,最新产品如谷歌无人驾驶汽车等。
5、智能穿戴设备
可穿戴设备涉猎广泛,有:智能眼镜、智能手表、智能手环、智能戒指、智能颈环、智能隔音耳塞、智能衬衫、智能运动鞋等等。
6、智能防丢设备
智能防丢设备是通过对软硬件进行整合,可以实现将我们的手机、自行车、钱包等物品实现相连的 *** 作,这样任何意见物品丢失都会提示给我们。如奥星澳蓝牙防丢器。
7、智能蓝牙耳机
现在有很多的手机会有蓝牙这个功能,因此蓝牙耳机势必会成为手机的选件。同时,随着蓝牙耳机可以连接到移动电话和音乐播放器,这将是蓝牙应用的一个新的突破。
8、智能医疗设备
代表产品智能血压计/血糖仪、智能假肢等。
随着科技的发展,肯定还会有很多的智能硬件的出现,比如游戏类、空气净化类产品等。
说白了,物联网就是物物网络,把所有现实中的东西通过传感器编程数据,然后通过收集和控制这些数据来 *** 控现实生活中的各种食物。由检测,传输,数据处理控制来完成一系列的动作。就像人的神经网络接收了外在的感觉然后传输给脑袋来处理一样。
物联网最初是想实现在艰苦环境下的数据收集,因为人不能长时间待在恶劣的环境中收集数据,所以希望用电子产品来远程收集这些数据。
1,像海洋环境监测之类的环境监测方面用的比较早。
2,然后就是军事方面较早开始应用来收集战场数据,因为军事的首要目的不是科技效益,而国家的大笔军事资金提供了先行研究应用的可能。美军研究出来的信息尘埃已经应用于实际的战争中了。
3,因为物联网设备并不便宜,有很多硬件上的问题还未解决,所以从技术和成本上来考虑,暂时还很难大规模普及于民用。但是其未来却已经计划出了一些蓝图。
a应用于医疗方面
关于病人各项数据的持续检控在医疗上来说是很重要的环节,如果用人力实现这个将是费时费力的。而用物联网之后,可以由机器来实现,并值班医生护士进行提醒和报警之类的动作,将节省大量人力物力,而且效果将更加好,就像有位24小时陪伴的护士在身边。
b应用于家居方面
智能家居的应用将靠物联网得到更大的发展,哪怕人不在家也可以清楚和 *** 控家里的一切。到时家就像一部智能电脑,可以任你控制。
c应用于各种检测
机械修理需要知道机械故障在哪,往往是先通过个人的判断,然后将机械拆解到一定程度来检测是哪个地方有问题。用物联网中的传感器来检测可以提高检测效率,由计算机来判断是哪有问题。对于这个其实已经实现了。
像建筑物的长期质量监控也需要用到,一旦大楼出现质量问题,物联网可以自动警报,防止悲剧的发生。而汽车,飞机之类的也可以用这些来提高保障。
d网络安全方面的应用。物联网也是网络,它其实是因特网的一种延伸产品,既然是因特网的一部分,那么必然有骇客,有入侵。而物联网将比因特网更加贴近人们生活的实质,所以这方面的网络安全人们将愿意花费更多的金钱去保障。
c电信服务之类
物联网将使手机电话之类的交流手段得到更进一步的提升,有一天物联网将作为网络的一部分称为电信部门的另一种产品,就像电话,短信一样。
物联网的作用实在太广了,将其与个个行业结合都可以产生一种新的产品。而目前最看好的是以上几种。研究物联网一般电子业,计算机和通信专业的学生比较多。我本人就是通信专业的。目前也正在国外留学研究物联网。
这些是我目前对物联网的一些信息,写出来希望对你有帮助。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)