物联网(InternetofThings)的概念最早在1998年由美国MIT大学的KevinAshton教授提出,把RFID技术与传感器技术应用于日常物品中形成物联网,着重的是物品的标记。2005年ITU以InternetofThings为题发布互联网报告,强调物品联网。近年随着移动互联网技术和云计算技术的发展,特别是节能环保和社会安全等需求,物联网再度受到关注,但聚焦在通过感知达到智能服务的目的。在2010年我国的政府工作报告所附的注释中对物联网有如下的说明:是指通过信息传感设备,按照约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络。它是在互联网基础上延伸和扩展的网络。
传感网使用传感器作为感知元件,应用上可以无需基础网络,通常也不强调智能分析与决策。物联网使用传感器、RFID、激光扫描器、红外标记、普通条码、二维码、全息光学条码、GPS等作为感知元件,需要通过基础网络实现物与物和人与物互联,强调对感知数据的汇聚和挖掘及分析决策。物联网的组成包括三部分,即泛在化的传感节点及网络、异构性的网络基础设施、普适性的数据分析与服务。物联网与传感网的区别不在于联网的物件数量而在于感知单元的多样性和感知结果的智能利用,可以说传感网是物联网的一个子集。
物联网的底层借助RFID和传感器等实现对物件的信息采集与控制,通过传感网将传感器等感知节点的信息汇集,并连到核心网络,基础网络是物联网的重要组成部分,用于承载物物互联或物与人互联的信息传递,物联网的上层实现信息的处理和决策支持。物联网可用的基础网络可以有很多种,通常互联网最适合作为物联网的基础网络。尽管下一代互联网将以支持物联网的应用作为主要目标之一,但物联网并不是互联网的下一代,物联网可以说是互联网上的一种业务或应用。物联网强调的是认知,是互联网向感知平台和数据挖掘两个方向的拓展。物联网与互联网上传统业务相比有不同的特点:在物联网以公众网络(例如互联网)作为基础网络平台的情况下,物联网相当于互联网上面向特定任务来组织的专网()。互联网是全球性的,但物联网往往是行业性的或区域性的,物联网的行业应用的多样性与承载平台的通用性之间需要有中间件来适配。
M2M(Machine-to-Machine)与物联网有关,M2M通信与物联网的核心理念一致,不同之处是物联网的概念和所采用的技术及应用场景更宽泛,M2M主要聚焦在无线通信网络应用上,是物联网应用的一种主要方式。与物联网有关的还有CPS(CyberPhysicalSystem),CPS是计算、通信与物理过程的综合,CPS与物联网有类似的能力,物联网通过数据挖掘可得到决策建议,但通常是要上报主管人员再决定是否要采取措施,而CPS强调循环反馈,要求系统能够在感知物理世界之后通过通信与计算再自动执行对物理世界的反馈控制措施。从物与物通信进一步扩展到物与人以及人与人通信,支持个人和/或设备无论何时、何地、何种方式以最少的技术限制接入到服务和通信的能力,这种网络发展的愿景被称为泛在网。
在物联网上所用的通信技术比较成熟,但仍需要考虑物联网节点多功率小且需要接力传送等特点进行适配。
物联网通常有很多传感器节点,在传感过程中,首先是需要识别被感知的对象和感知信息。在给定任务的情况下使用最少数量的节点并最省功耗是物联网设计的目标。节点的传输距离、节点的合理分层分簇、拓扑控制等一系列节点的几何布局,是物联网感知层面设计的主要问题。根据应用和服务对物联网节点分群分簇,每簇会有一个节点负责搜集数据并将集合的数据传到网关,簇头的选择需要考虑节点的存储、过滤和聚合能力,为了不致过早耗掉簇头的电能,每簇内各节点可能需要轮流担任簇头。由于物联网节点数量密集,覆盖范围宽,而且新的物品的加入将要求节点添加或删除等,在节点的配置上要从减少安装和维护成本考虑,要尽可能少用人工干预,其次是网络发现技术,要求节点能够发现在其所处环境内的相邻节点的存在和身份,以便协商分享的任务,在物联网中网络是动态变化的,新的物品的加入将改变网络的拓扑,而且物品的特征还会随自治程度而变,物联网应具有基于智能匹配来对网中的节点自动发现和指配、自动部署与激活、解除激活和性能监视,还可以在任何时间对所分配的作用进行调整和调度。
有些节点由于制造的不一致,缺陷需要在出厂前校正,由于环境影响、老化等原因使所感知的数据有偏差,还需要在数据收集时校正或去除,还需要考虑传感器与环境之间的耦合关系。在感知数据的报送方式上,分为主动式和反应式两种。物联网收集的数据如果原封不动地存储将占用海量存储资源,必须通过压缩去掉重复冗余的数据,并且需要开发图像信息检索方法和搜索引擎,以有效提高物联网设施的利用效率。收集的数据不限于被感知物件的信息,还包括与事件的发生可能有相关性的政府数据、市民产生的数据等,要在认证安全、隐私保护等方面对数据进行过滤与正确性的确认。为了全面准确提供智能决策,希望有多源甚至异构的数据,通过多数判决和推理分析,去逼近真实环境,最后利用专家系统和数学模型,参考历史数据,综合异构来源的多种信息,进行分析推理,给出决策。
物联网需要有网管,控制物联网节点的休眠和叫醒,检测和登记节点的移动、发现相邻节点,并且在一个特定区域内均衡和调度传感任务等。需要关注物联网能量获取与存储及节能问题,实现能量测量和电量不足的预报以及动态功率优化等能量管理。从安全与隐私来看,物联网是双刃剑,它能对生产安全、反恐维稳和家居安全起积极作用,但如果感知数据偏差太大和判决失误,将弄巧反拙,因此对物联网的可靠性和安全及隐私需要足够重视。
物联网是两化融合的切入点,也是民生服务的新亮点,其应用面很宽,将带动新的产业特别是现代服务业的发展,其社会效益高于经济效益。物联网看似门槛不高,但如何在给定任务的情况下最大化网络的生命周期和最小化组网及应用成本均是严峻的挑战。低成本、高可靠、长寿命的传感器和RFID是物联网推广应用的前提,数据挖掘与智能分析是体现物联网效益的关键,也是物联网的薄弱环节。当前对物联网的理论和技术的研究还落后于应用示范,未来需要在物联网技术方面加大创新开发力度。同时还要重视统筹规划、资源共享,务求实效。
随着全球信息化的浪潮,信息化产业不断发展、延伸,已经深入了众多的企业及个人,SOA系统架构的出现,将给信息化带来一场新的革命。
纵观信息化建设与应用的历程,尽管出现过XML(标准通用标记语言的子集)、Unicode、UML等众多信息标准,但是许多异构系统之间的数据源仍然使用各自独立的数据格式、元数据以及元模型,这是信息产品提供商一直以来形成的习惯。各个相对独立的源数据集成一起,往往通过构建一定的数据获取与计算程序来实现,这样的做法需要花费大量工作。信息孤岛大量存在的事实,使信息化建设的ROI(投资回报率)大大降低,ETL成为集中这些异构数据的有效工具。ETL常用于从源系统中提取数据,将数据转换为与目标系统相兼容的格式,然后将其装载到目标系统中。数据经过获取、转换、装载后,要产生应用价值,还需另外的数据展现工具予以实现,如此复杂的数据应用过程,必定产生高昂的应用成本。
结构化的数据管理尚可通过以上方法,予以实现其集成应用。在非结构化的内容方面,这些具有挑战性的问题令人生畏。内容管理的应用方案基于不同的信息化应用系统,而且大部分是纵向的以组织部门为界限的。在内容管理市场中,经常使用来自不同厂商的产品来提供这些解决方案。即使是同一个厂商的产品,相互之间的功能也是经常重叠,并且无法集成。
随着信息化建设的深入,不同应用系统之间的功能界限已趋于模糊。同时企业资源计划系统和协同商务系统,又需要商业智能的分析展现数据提供用户 *** 作依据。
在激烈竞争且多变的市场环境下,企业的管理模式很难固化,应用传统的信息化软件,当企业要做出一些改动时需要面对巨大的挑战。
SOA系统架构的出现,信息化变革
微软大中华区服务部总经理辛儿伦介绍说,从上世纪60年代应用于主机的大型主机系统,到80年代应用于PC的CS架构,一直到90年度互联网的出现,系统越来越朝小型化和分布式发展。2000年WebService出现后,SOA被誉为下一代Web服务的基础框架,已经成为计算机信息领域的一个新的发展方向。
SOA的出现给传统的信息化产业带来新的概念,不再是各自独立的架构形式,能够轻松的互相联系组合共享信息。
可复用以往的信息化软件。基于SOA的协同软件提供了应用集成功能,能够将ERP、CRM、HR等异构系统的数据集成。
松散耦合方式,只要充分了解业务的进程,就可以不用编写一行代码,通过流程图实现一套我们自己的信息系统。就像已经给你准备好了砖瓦和水泥,只需要想好盖什么样的房子就可以轻松的盖起。加快开发速度,并且减少了开发和维护的费用。软件将所有的管理提炼成表单和流程,以记录管理的内容,指定过程的流转方向。
更简便的信息和数据集成。信息集成功能可以将散落在广域网和局域网上的文档、目录、网页轻松集成,加强了信息的协同相关性。同时,复杂、成本高昂的数据集成,也变成了可以简单且低成本实现的参数设定。创建了完全集成的信息化应用新领域。
在具体的功能实现上,SOA协同软件所实现的功能包括了知识管理、流程管理、人事管理、客户管理、项目管理、应用集成等,从部门角度看涉及了行政、后勤、营销、物流、生产等。从应用思想上看,SOA协同软件中的信息管理功能,全面兼顾了贯穿整个企业组织的信息化软硬件投入。尽管各种IT技术可以用于不同的用途,但是信息管理并没有任意地将信息分为结构化或者非结构化的部分,因此ERP等结构化管理系统并不是信息化建设的全部;同时,信息管理也没有将信息化解决方案划分为部门的视图,因此仅仅以部分为界限去构建软件应用功能的思想未必是不可撼动的。基于SOA的协同软件与ERP、CRM等传统应用软件相比,关键的不同在于它可以在合适的时间、合适的地点并且有正当理由向需要它提供服务的任何用户提供服务。
物联网的技术特征有全感知、可靠传输、智能处理。
通过对物联网定义和架构的分析,得出物联网的核心功能是信息(数据)的传递与处理。所以,要确保高效运作,物联网必须具有三个特点:全感知、可靠传输、智能处理。
1、整体感觉。
知觉是物联网的核心。IoT是由物品和人组成,具有很强的感知能力。为让物品有知觉,需要在物品上安装不同种类的识别装置,如电子标签、条码、二维码等,同时可通过温湿度传感器。
红外线传感器、照相机等识别设备感知它的物理属性和个性化特征。通过这类设备,可以随时随地获得物品信息,实现全方位感知。
2、可靠传输。
数据传输的稳定可靠,是保证物物相联的关键。因为物联网是一种异构网络,不同实体之间的协议格式可能会有差异,所以需要通过相应的软硬件来实现协议格式转换,以确保项目间信息的实时、准确地传输。
为实现不同传感器数据的统一处理,实现了物物间的信息交互,必须开发支持多种协议格式转换的通信网关。利用通信网关,将不同传感器的通信协议转化为事先约定的、统一的通信协议。
3、智能加工。
其目标是实现对各种物品、人员的智能识别、定位、追踪、监测、管理等功能。因此,必须以智能信息处理平台为支撑,通过云计算、人工智能等智能计算技术来存储、分析、处理海量数据,并根据不同的应用需求,对物品和人员进行智能控制。
由此可以看出,物联网融合了各种信息技术,突破了因特网的限制,将对象连接到信息网络中,实现了“物物互联”。物联网支持信息网络向全面感知和智能应用两个方向扩展、延伸和突破,从而影响到国民经济和社会生活的各个方面。
清华大学牛,荣获中国计算机学会2021年度CCF科学技术奖自然科学一等奖! 以下为中国计算机学会公布的2021年度“CCF科学技术奖”全部获奖项目名单。
1、大规模异构计算系统并行编程模型与优化理论
完成单位:清华大学
2、高精度智能化的软件分析与测试方法
完成单位:中国科学院软件研究所、中国人民大学
3、基于图的网络性能优化理论与方法
完成单位:上海交通大学
1、安卓 *** 作系统安全防护的理论与方法
完成单位:复旦大学
2、面向高维数据的集成学习算法
完成单位:华南理工大学
3、复杂软件系统的网络化解析与优化理论及方法
完成单位:武汉大学
4、开放系统量子计算理论及新型量子计算原理
完成单位:中国科学院数学与系统科学研究院
5、基因组组装与模式挖掘的基础理论与算法
完成单位:中南大学
1、大规模智能云网络关键技术及平台
完成单位:阿里云计算有限公司、浙江大学、上海交通大学
2、面向工业领域的软件形式化建模与自动化测试关键技术及工具国产化应用
完成单位:华东师范大学、上海工业控制安全创新 科技 有限公司、卡斯柯信号有限公司、工业和信息化部电子第五研究所
3、专用处理器芯片自动设计技术与应用
完成单位:中国科学院计算技术研究所、中科驭数 科技 有限公司、中科物栖 科技 有限公司
1、数据自治开放技术
完成单位:复旦大学
2、多源异构大数据智能挖掘与性能优化
完成单位:湖南大学、中国人民解放军国防 科技 大学、哈尔滨工业大学(深圳)
3、水滴形柔性屏技术及可折叠产品
完成单位:联想研究院
1、蚂蚁反欺诈智能风险感知与响应系统关键技术和应用
完成单位:蚂蚁集团
2、AtlasGraph大规模图数据分析平台
完成单位:北京海致星图 科技 有限公司、清华大学、北京海致 科技 集团有限公司
3、虚拟存储环境关键技术与应用
完成单位:中国人民解放军国防 科技 大学、厦门大学、国家超级计算天津中心
1、全浸没液冷云计算数据中心技术创新及产业化
完成单位:阿里云计算有限公司
2、基于云架构的能源监测与分析平台的研制及产业化
完成单位:福州大学、国网信通亿力 科技 有限责任公司
3、智能城市 *** 作系统
完成单位:京东城市(北京)数字 科技 有限公司
4、物联网低代码开发平台及应用
完成单位:浙江大学、阿里云计算有限公司
5、ZoomAI——基于人工智能的视频修复及增强系统
完成单位:北京爱奇艺 科技 有限公司
6、智能化手术系统的关键技术及产业化应用
完成单位:中国石油大学(华东)、青岛海信医疗设备股份有限公司、大连东软教育 科技 集团
1、基于网络空间的态势感知与防御云安全平台
完成单位:杭州安恒信息技术股份有限公司
2、面向智能生产决策的求解引擎及应用
完成单位:联想研究院
3、基于可信执行环境的区块链数据隐私保护技术
完成单位:蚂蚁区块链(上海) 科技 有限公司
4、医学影像智能分割关键技术与应用
完成单位:浙江大学
物联网通过大量的网络传感器来接受数据当前收集的信息数据类型不同,物联网的数据特征与大数据不同,主要特征有:
heterogeneity, variety, unstructured feature, noise, and high redundancy
物联网数据特征:异构型、多样性、无结构化特征、噪声、高冗余。
大数据的4V特征:大量化、多样化、快速化、价值化
当今物联网数据不是的大数据最重要的组成部分,但是据惠普的预测,到2030年,传感器数量将达到1万亿,成为大数据的重要组成部分。1高效分布式
必须是高效的分布式系统。物联网产生的数据量巨大,仅中国而言,就有5亿多台智能电表,每台电表每隔15分钟采集一次数据,一天全国智能电表就会产生500多亿条记录。这么大的数据量,任何一台服务器都无能力处理,因此处理系统必须是分布式的,水平扩展的。为降低成本,一个节点的处理性能必须是高效的,需要支持数据的快速写入和快速查询。
2实时处理
必须是实时处理的系统。互联网大数据处理,大家所熟悉的场景是用户画像、推荐系统、舆情分析等等,这些场景并不需要什么实时性,批处理即可。但是对于物联网场景,需要基于采集的数据做实时预警、决策,延时要控制在秒级以内。如果计算没有实时性,物联网的商业价值就大打折扣。
3高可靠性
需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统,如果数据处理系统宕机,直接导致停产,产生经济有损失、导致对终端消费者的服务无法正常提供。比如智能电表,如果系统出问题,直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的,必须支持数据实时备份,必须支持异地容灾,必须支持软件、硬件在线升级,必须支持在线IDC机房迁移,否则服务一定有被中断的可能。
4高效缓存
需要高效的缓存功能。绝大部分场景,都需要能快速获取设备当前状态或其他信息,用以报警、大屏展示或其他。系统需要提供一高效机制,让用户可以获取全部、或符合过滤条件的部分设备的最新状态。
5实时流式计算
需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行,而是需要通过将一个或多个设备产生的数据流进行实时聚合计算,不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此,计算的需求也相当复杂,因场景而异,应容许用户自定义函数进行计算。
6数据订阅
需要支持数据订阅。与通用大数据平台比较一致,同一组数据往往有很多应用都需要,因此系统应该提供订阅功能,只要有新的数据更新,就应该实时提醒应用。而且这个订阅也应该是个性化的,容许应用设置过滤条件,比如只订阅某个物理量五分钟的平均值。
7和历史数据处理合二为一
实时数据和历史数据的处理要合二为一。实时数据在缓存里,历史数据在持久化存储介质里,而且可能依据时长,保留在不同存储介质里。系统应该隐藏背后的存储,给用户和应用呈现的是同一个接口和界面。无论是访问新采集的数据还是十年前的老数据,除输入的时间参数不同之外,其余应该是一样的。
8数据持续稳定写入
需要保证数据能持续稳定写入。对于物联网系统,数据流量往往是平稳的,因此数据写入所需要的资源往往是可以估算的。但是变化的是查询、分析,特别是即席查询,有可能耗费很大的系统资源,不可控。因此系统必须保证分配足够的资源以确保数据能够写入系统而不被丢失。准确的说,系统必须是一个写优先系统。
9数据多维度分析
需要对数据支持灵活的多维度分析。对于联网设备产生的数据,需要进行各种维度的统计分析,比如从设备所处的地域进行分析,从设备的型号、供应商进行分析,从设备所使用的人员进行分析等等。而且这些维度的分析是无法事先想好的,而是在实际运营过程中,根据业务发展的需求定下来的。因此物联网大数据系统需要一个灵活的机制增加某个维度的分析。
10支持数据计算
需要支持数据降频、插值、特殊函数计算等 *** 作。原始数据的采集可能频次挺高,但具体分析时,往往不需要对原始收据进行,而是数据降频之后。系统需要提供高效的数据降频 *** 作。设备是很难同步的,不同设备采集数据的时间点是很难对齐的,因此分析一个特定时间点的值,往往需要插值才能解决,系统需要提供线性插值、设置固定值等多种插值策略才行。工业互联网里,除通用的统计 *** 作之外,往往还需要支持一些特殊函数,比如时间加权平均。
11即席分析和查询
需要支持即席分析和查询。为提高大数据分析师的工作效率,系统应该提供一命令行工具或容许用户通过其他工具,执行SQL查询,而不是非要通过编程接口。查询分析的结果可以很方便的导出,再制作成各种图标。
12灵活数据管理策略
需要提供灵活的数据管理策略。一个大的系统,采集的数据种类繁多,而且除采集的原始数据外,还有大量的衍生数据。这些数据各自有不同的特点,有的采集频次高,有的要求保留时间长,有的需要多个副本以保证更高的安全性,有的需要能快速访问。因此物联网大数据平台必须提供多种策略,让用户可以根据特点进行选择和配置,而且各种策略并存。
13开放的系统
必须是开放的。系统需要支持业界流行的标准SQL,提供各种语言开发接口,包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R,Matlab等等,方便集成各种机器学习、人工智能算法或其他应用,让大数据处理平台能够不断扩展,而不是成为一个孤岛。
14支持异构环境
系统必须支持异构环境。大数据平台的搭建是一个长期的工作,每个批次采购的服务器和存储设备都会不一样,系统必须支持各种档次、各种不同配置的服务器和存储设备并存。
15支持边云协同
需要支持边云协同。要有一套灵活的机制将边缘计算节点的数据上传到云端,根据具体需要,可以将原始数据,或加工计算后的数据,或仅仅符合过滤条件的数据同步到云端,而且随时可以取消,更改策略。
物联网安全的特征是:感知网络的信息采集、传输与信息安全问题。
感知节点呈现多源异构性,感知节点通常情况下功能简单(如自动温度计)、携带能量少(使用电池),使得它们无法拥有复杂的安全保护能力,而感知网络多种多样,从温度测量到水文监控,从道路导航到自动控制,它们的数据传输和消息也没有特定的标准,所以没法提供统一的安全保护体系。
物联网的主要特征是:
物联网的主要特征有全面感知、可靠传递、智能处理。物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)