大数据概念
巨量资料(big data),或称大数据、海量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用,形成的智力资源和知识服务能力。
大数据市场格局
具体意义上来讲,早在20世纪90年代“数据仓库之父”的Bill Inmon便提出了“大数据”的概念。大数据之所以在最近走红,主要归结于互联网、移动设备、物联网和云计算等快速崛起,全球数据量大大提升。可以说,移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。
我们通过分析,形象的知道大数据与移动互联网、物联网以及传统互联网的关系。物联网,移动互联网再加上传统互联网,每天都在产生海量数据,而大数据又通过云计算的形式,将这些数据筛选处理分析,提前出有用的信息,这就是大数据分析。
大数据与云计算
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。近几年,云计算的概念受到了学术界、商界,甚至政府的热捧,一时间云计算无处不在,这真让同时代其他的IT技术相形见绌,无地自容。
本质上,云计算与大数据的关系是静与动的关系;云计算强调的是计算,这是动的概念;而数据则是计算的对象,是静的概念。如果结合实际的应用,前者强调的是计算能力,或者看重的存储能力;但是这样说,并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力(数据获取、清洁、转换、统计等能力),其实就是强大的计算能力;另一方面,云计算的动也是相对而言,比如基础设施即服务中的存储设备提供的主要是数据存储能力,所以可谓是动中有静。
如果数据是财富,那么大数据就是宝藏,而云计算就是挖掘和利用宝藏的利器!没有强大的计算能力,数据宝藏终究是镜中花;没有大数据的积淀,云计算也只能是杀鸡用的宰牛刀。
大数据与物联网
物联网是一个基于互联网、传统电信网等信息承载体,让所有能够被独立寻址的普通物理对象实现互联互通的网络。
大数据与物联网之间的关系是相铺相成的。物联网产生大数据。美国人前几年医院一年产生500个数据,IMT1。4TB数据等各种的数据通过传感器产生,也有在网上直接产生的,我们现在处于大数据时代,物联网一分钟可以产生非常多的东西,苹果下载2万余次,一分钟会上传10万条新微博,全世界物联网上虚拟网络上,产生了大量的数据。
物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的,更大的不同是它的高增长率。物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据,但不是人与人的交往信息,而是物与物,物与人的社会合作信息。
除此之外,大数据助力物联网,不仅仅是收集传感性的数据,实物跟虚拟物要结合起来。今天北京交通堵塞,但是并不知道堵塞原因,如果政府发布消息和市民微博发布消息结合起来就知道发生什么事,物联网要过滤,过滤要有一定模式。物联网与各种网络的关系
物联网(InternetofThings)的概念最早在1998年由美国MIT大学的KevinAshton教授提出,把RFID技术与传感器技术应用于日常物品中形成物联网,着重的是物品的标记。2005年ITU以InternetofThings为题发布互联网报告,强调物品联网。近年随着移动互联网技术和云计算技术的发展,特别是节能环保和社会安全等需求,物联网再度受到关注,但聚焦在通过感知达到智能服务的目的。在2010年我国的政府工作报告所附的注释中对物联网有如下的说明:是指通过信息传感设备,按照约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络。它是在互联网基础上延伸和扩展的网络。
传感网使用传感器作为感知元件,应用上可以无需基础网络,通常也不强调智能分析与决策。物联网使用传感器、RFID、激光扫描器、红外标记、普通条码、二维码、全息光学条码、GPS等作为感知元件,需要通过基础网络实现物与物和人与物互联,强调对感知数据的汇聚和挖掘及分析决策。物联网的组成包括三部分,即泛在化的传感节点及网络、异构性的网络基础设施、普适性的数据分析与服务。物联网与传感网的区别不在于联网的物件数量而在于感知单元的多样性和感知结果的智能利用,可以说传感网是物联网的一个子集。
物联网的底层借助RFID和传感器等实现对物件的信息采集与控制,通过传感网将传感器等感知节点的信息汇集,并连到核心网络,基础网络是物联网的重要组成部分,用于承载物物互联或物与人互联的信息传递,物联网的上层实现信息的处理和决策支持。物联网可用的基础网络可以有很多种,通常互联网最适合作为物联网的基础网络。尽管下一代互联网将以支持物联网的应用作为主要目标之一,但物联网并不是互联网的下一代,物联网可以说是互联网上的一种业务或应用。物联网强调的是认知,是互联网向感知平台和数据挖掘两个方向的拓展。物联网与互联网上传统业务相比有不同的特点:在物联网以公众网络(例如互联网)作为基础网络平台的情况下,物联网相当于互联网上面向特定任务来组织的专网()。互联网是全球性的,但物联网往往是行业性的或区域性的,物联网的行业应用的多样性与承载平台的通用性之间需要有中间件来适配。
M2M(Machine-to-Machine)与物联网有关,M2M通信与物联网的核心理念一致,不同之处是物联网的概念和所采用的技术及应用场景更宽泛,M2M主要聚焦在无线通信网络应用上,是物联网应用的一种主要方式。与物联网有关的还有CPS(CyberPhysicalSystem),CPS是计算、通信与物理过程的综合,CPS与物联网有类似的能力,物联网通过数据挖掘可得到决策建议,但通常是要上报主管人员再决定是否要采取措施,而CPS强调循环反馈,要求系统能够在感知物理世界之后通过通信与计算再自动执行对物理世界的反馈控制措施。从物与物通信进一步扩展到物与人以及人与人通信,支持个人和/或设备无论何时、何地、何种方式以最少的技术限制接入到服务和通信的能力,这种网络发展的愿景被称为泛在网。
在物联网上所用的通信技术比较成熟,但仍需要考虑物联网节点多功率小且需要接力传送等特点进行适配。
物联网通常有很多传感器节点,在传感过程中,首先是需要识别被感知的对象和感知信息。在给定任务的情况下使用最少数量的节点并最省功耗是物联网设计的目标。节点的传输距离、节点的合理分层分簇、拓扑控制等一系列节点的几何布局,是物联网感知层面设计的主要问题。根据应用和服务对物联网节点分群分簇,每簇会有一个节点负责搜集数据并将集合的数据传到网关,簇头的选择需要考虑节点的存储、过滤和聚合能力,为了不致过早耗掉簇头的电能,每簇内各节点可能需要轮流担任簇头。由于物联网节点数量密集,覆盖范围宽,而且新的物品的加入将要求节点添加或删除等,在节点的配置上要从减少安装和维护成本考虑,要尽可能少用人工干预,其次是网络发现技术,要求节点能够发现在其所处环境内的相邻节点的存在和身份,以便协商分享的任务,在物联网中网络是动态变化的,新的物品的加入将改变网络的拓扑,而且物品的特征还会随自治程度而变,物联网应具有基于智能匹配来对网中的节点自动发现和指配、自动部署与激活、解除激活和性能监视,还可以在任何时间对所分配的作用进行调整和调度。
有些节点由于制造的不一致,缺陷需要在出厂前校正,由于环境影响、老化等原因使所感知的数据有偏差,还需要在数据收集时校正或去除,还需要考虑传感器与环境之间的耦合关系。在感知数据的报送方式上,分为主动式和反应式两种。物联网收集的数据如果原封不动地存储将占用海量存储资源,必须通过压缩去掉重复冗余的数据,并且需要开发图像信息检索方法和搜索引擎,以有效提高物联网设施的利用效率。收集的数据不限于被感知物件的信息,还包括与事件的发生可能有相关性的政府数据、市民产生的数据等,要在认证安全、隐私保护等方面对数据进行过滤与正确性的确认。为了全面准确提供智能决策,希望有多源甚至异构的数据,通过多数判决和推理分析,去逼近真实环境,最后利用专家系统和数学模型,参考历史数据,综合异构来源的多种信息,进行分析推理,给出决策。
物联网需要有网管,控制物联网节点的休眠和叫醒,检测和登记节点的移动、发现相邻节点,并且在一个特定区域内均衡和调度传感任务等。需要关注物联网能量获取与存储及节能问题,实现能量测量和电量不足的预报以及动态功率优化等能量管理。从安全与隐私来看,物联网是双刃剑,它能对生产安全、反恐维稳和家居安全起积极作用,但如果感知数据偏差太大和判决失误,将弄巧反拙,因此对物联网的可靠性和安全及隐私需要足够重视。
物联网是两化融合的切入点,也是民生服务的新亮点,其应用面很宽,将带动新的产业特别是现代服务业的发展,其社会效益高于经济效益。物联网看似门槛不高,但如何在给定任务的情况下最大化网络的生命周期和最小化组网及应用成本均是严峻的挑战。低成本、高可靠、长寿命的传感器和RFID是物联网推广应用的前提,数据挖掘与智能分析是体现物联网效益的关键,也是物联网的薄弱环节。当前对物联网的理论和技术的研究还落后于应用示范,未来需要在物联网技术方面加大创新开发力度。同时还要重视统筹规划、资源共享,务求实效。提到 *** 作系统,大多人第一印象是电脑端的Windows、Linux系统和手机端的安卓和iOS系统。这些程序直接运行在“裸机”设备的最低层,搭建起其他软件、应用运行的环境与基础。得益于 *** 作系统的兴起、完善,才促成了软件与应用的兴起,铸就了辉煌的PC时代与移动互联网时代。
物联网的 *** 作系统调度“物体”本身,因此它很可能将融合人类 *** 作系统与PC时代 *** 作系统的两种形态,物联网 *** 作系统对“物体”的调度过程通过层层分发、层层下达,通过调度云、边、端,不同层级中不同设备的计算资源而实现。
因此,物联网中的 *** 作系统涉及到芯片层、终端层、边缘层、云端层等多个层面。单一层次的物联网 *** 作系统与安卓在移动互联网领域的地位和作用类似,实现了应用软件与智能终端硬件的解耦。就像在安卓的生态环境中,开发者基本不用考虑智能终端的物理硬件配置,只需根据安卓的编程接口编写应用程序,就可以运行在所有基于安卓的智能终端上一样,物联网 *** 作系统的作用也是如此。
在物联网 *** 作系统开发企业中,由爱投斯开发的物联网 *** 作系统具备得天独厚的优势。
IOTOS®物联网 *** 作系统定位可以类比成Windows *** 作系统。Windows *** 作系统是对单一设备进行硬件集成,比如显卡、声卡、屏幕、网卡等,提供驱动开发、应用开发套件和系统自带应用。
IOTOS®物联中台则是面向项目级的 *** 作系统对智慧项目涉及的传感器、设备以及业务子系统,进行采集、集成、融合打通,向下提供设备接入SDK,向上提供应用开发API,同时提供场景通用的内置应用,以此引领智慧项目实现标准化。
因此在物联网的环境下,尤其需要 *** 作系统来屏蔽物联网底层硬件碎片化差异,提供统一的编程接口,降低物联网应用开发的门槛、成本和时间。
为了应对严重的碎片化现状,采用IOTOS®物联网 *** 作系统,该 *** 作系统主要是对设备进行抽象,快速集成、采集,提供统一的设备和数据管理服务,以及统一的上层应用接口,对应用层屏蔽接入设备或系统的差异,极大降低物联网项目应用成本。物联网好,物联会系统与物理系统融和设备网络群遍及工业监测、交通管理、物流管理、电力管理、环境保护、军事、公共安全、平安家居、老人护理、个人健康等许许多多个领域。物联网的发展将对世界经济、政治、文化、军事等各个方面产生无比巨大的影响,并使人们的生活方式发生翻天覆地的变革。有国外知名研究机构预测,未来物联网的发展将经历四个阶段,2010年之前RFID被广泛应用于物流、零售和制药领域,2010-2015年物体互联,2015-2020年物体进入半智能化,2020年之后物体进入全智能化。尽管目前的物联网尚处初级阶段,在成本、标准及规模化方面还有待完善,仍有国内专家乐观预计,三五年之内,物联网的应用就可能在中国有突破性进展,十多年以后,物联网就会像现在互联网一样高度普及。物联网的发展还是很迅速的。未来世界是万物互联的,人和人相连、人和机器相连、有电的地方都有计算,有计算机的地方都可以相连。越来越多的传感器、摄像头将被广泛部署,并由无处不在的网络联接起来,物理世界得以更准确地在数字世界中呈现。而且有越来越多的企业关注物联网与移动互联网领域的点滴发展,致力于帮助传统行业加速智慧转型升级。所以说物联网在各个方面还是有很大的市场前景。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)