物联网对海量信息存储的需求促使了哪些技术的发展

物联网对海量信息存储的需求促使了哪些技术的发展,第1张

物联网对海量储存技术促进的技术包括:快速储存技术,网络存储技术,云存储技术,大数据存储技术。
网络存储技术:直连式存储(DirectAttachedStorage,DAS)、网络存储设备(NetworkAttachedStorage,NAS)和存储网络(StorageAreaNetwork,SAN)。
云存储技术是侧重企业搭建的云盘服务,
大数据存储技术是侧重于框架结构的不同。第一种是采用MPP架构的新型数据库集群,重点面向行业大数据,采用Shared Nothing架构,第二种是基于Hadoop的技术扩展和封装,围绕Hadoop衍生出相关的大数据技术。第三种是大数据一体机,这是一种专为大数据的分析处理而设计的软、硬件结合的产品

物联网的概念是在1999年提出的。物联网就是“物物相连的互联网”其英文名Internet of Things。这有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通讯。因此,物联网的定义是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。物联网被称为继计算机、互联网之后世界信息产业发展的第三次浪潮,它是互联网的应用拓展,与其说物联网是网络,不如说物联网是互联网基础上的业务和应用。

5G主要三大特点
1、高速率:5G是依托4G良好的技术架构,可以比较方便的在其基础之上构建新的技术。未来的5G愿景最强烈的一个方面就是用户体验到的网络速率。4G现在已经很快了,但是还不够,5G要做到的目标是最大10Gbps,现在的移动网络工作在相对较低的频段,低频段的好处的是传播性能优越,可以使运营商用较少的成本(少量基站)达到很好的覆盖。
2、海量物联网通信:主要面向智慧城市、环境监测、智能农业、森林防火等以传感和数据采集、实时解析为目标的物联网领域,提高社会管理效益和增强安全防护能力。
3、低时延、高可靠通信:主要面向工业互联网、智能制造、自动驾驶、智慧能源等领域,支撑制造业转型升级,高质量发展。

中央领导同志多次提出,要着力突破传感网、物联网的关键技术。什么是物联网?物联网具有哪些基本特征?物联网产业发展对转变经济发展方式具有什么样的意义?当前物联网产业发展在世界范围内展现出哪些新趋势?
进入21世纪以来,一些发达国家为了推动信息社会发展,提出建设“无所不在的网络社会”,并将其作为国家或地区信息化发展的重要组成部分,纷纷出台相关的战略和政策。2010年,我国发布的《国务院关于加快培育和发展战略性新兴产业的决定》,也把新一代信息技术作为战略性新兴产业的重点领域,提出加快建设宽带、泛在、融合、安全的信息网络基础设施,推动新一代移动通信、下一代互联网核心设备和智能终端的研发与产业化,加快推进“三网融合”、促进物联网和云计算的研究和应用示范。
一、物联网是传感网、互联网、自动化技术和计算技术的集成及其广泛与深度应用。
物联网是互联网的延伸与拓展,是新理念引导下新一代信息技术的应用集成创新。物联网以互联网为基础设施,是传感网、互联网、自动化技术和计算技术的集成,及其广泛和深度应用。其功能是,各类实物信息被不同的传感器感知、采集、形成数字信号,通过各类网络快速传输到信息处理层,加工处理的信息形成信号或知识,一方面为管理服务提供信息依据,另一方面可以通过传输层反馈至传感设备,实现对实物的 *** 作。物联网既是网络技术的发展,又是自动控制技术在巨型复杂系统中的应用。物联网的应用是工业化与信息化的深度融合。过去,信息技术与制造业“两层皮”,信息基础设施与实物基础设施“两层皮”,信息基础设施建设、通信、互联网、数字内容等领域独立发展。物联网集合了许多现代信息技术,实现信息基础设施与实物基础设施相结合,把信息化融入产业发展、人民生活和社会管理的各个方面,推动信息技术、互联网技术、自动化技术在更多领域深度应用,促进更多行业、更大范围的信息化与工业化的融合。如智能交通是在车辆大幅度增加后,传统的交通管理模式不能满足交通安全需要的情况下发展起来的;城市智能化管理是在城市功能不断丰富和互联网普及的情况下,为了提高管理效率而发展起来的。物联网产业是传统产业与新兴产业的有机结合。物联网技术的应用与推广,将改造提升一批传统产业,带动一批新兴产业发展,扩大一批传统产业的市场规模。目前,物联网大都在传统产业应用,如交通、物流、电网、石油天然气、食品等行业,极大提升了这些传统产业的效率,改进了发展方式。同时,物联网的应用带动了相关制造业和服务业的发展,包括芯片、传感器、集成模块及设备、中间件制造业,以及应用系统设计与集成、软件开发、试验检测、工程实施、云计算等高技术服务业的发展,扩大了其市场规模。
二、物联网功能多、应用面宽,产业链中服务业比例高,产业发展潜力巨大。
从物联网本身的特点和规律看,物联网产业发展潜力巨大,大有作为。一方面,物联网功能多、应用面宽,以市场需求为发展动力。物联网技术的应用是运营、管理和商业模式创新引导的集成创新。发展物联网的动力是满足市场需求,节约能源、降低成本、改善管理、提高效率和便捷生活。物联网不仅应用于诸多影响国计民生的重要行业,而且在日常生活等领域拥有巨大潜在市场。一是以政府公共服务为主的公共管理和服务市场。如电子政务、城市管理、医疗、教育等领域。二是企业为主的行业应用市场。如电信、电力、物流、石油天然气等行业。三是以个人和家庭为主的消费市场。如购物、家用电器、休闲娱乐等消费领域。随着技术的不断发展,物联网服务的领域正在扩展。另一方面,物联网产业链长,是制造业与服务业的有机融合,对加快发展现代服务业具有重要意义。纵向看,物联网的产业链可以分为上、中、下游。上游是网络设施、终端设备、传感器、芯片、集成模块、中间件制造等相关制造业;中游是互联网及其运营服务;下游是物联网的用户和服务商,包括应用系统设计和集成、软件开发、试验检测、工程实施、云计算和系统运维等高技术服务业。物联网涉及众多应用领域,是一个跨多学科多部门的细分市场。每个物联网应用领域又构成各自的产业链。物联网产业链中服务业比例较高。物联网产业的中、下游大都是信息技术服务业。发展物联网不仅将带动相关制造业发展,而且将极大促进高技术服务业的发展,形成服务业新业态。同时,由于物联网是根据应用系统特点设计的网络,解决的问题不同,应用方案也就不同。因此,发展物联网不能简单地引进技术,不能照搬照抄国外经验,必须有本国的技术支撑。物联网应用具有本地化优势和主动权,主要体现在应用设计自主权和采购主导权方面。
三、物联网应用一般在社会效益较大的领域优先布局,逐步向生活消费领域拓展。
目前,全球物联网产业部分领域处于重大技术突破的孕育期和产业发展初期,物联网技术的研发和应用主要集中在美、欧、日、韩和我国。从世界范围看,物联网技术发展和应用主要呈现以下趋势:
第一,需求导向,整体规划,目标明确。近些年来,欧美日韩等纷纷出台发展物联网的战略计划。一是在社会效益较大的领域优先布局,逐步向生活消费领域拓展。目前,各国政府主要在医疗、电子政务、电网、教育、交通、城市管理等领域推行物联网计划。如,近年来,美国政府以刺激经济为目标,重点支持宽带网、智能电网、卫生医疗信息技术应用等。欧盟从发展绿色经济的角度出发,优先发展智能汽车和智能建筑,2009年发布的《欧盟物联网战略研究路线图》又提出了航空航天、汽车、医药、能源等18个物联网主要应用领域。日本从营造“使国民安心和有活力的社会环境”出发,以交通、医疗、教育、环境监测、政府治理等公共领域的信息服务为重点。韩国则从寻求增长动力和发展优势产业出发,在食品和药品管理、交通和物流管理、环境监测、安全监测、工业自动化等方面进行应用示范;国际金融危机发生后,又提出发展智能通信、家庭应用和娱乐等,推动物联网在消费领域应用。二是根据实际需要确定物联网应用重点,有针对性地解决行业问题。三是市场需求驱动,企业自发创新发展。大部分物联网技术的应用是水到渠成,当信息技术发展到一定程度,就出现了应用物联网技术的市场需要。如物流行业最初应用物联网技术是出于对食品安全监控的需要;发展云计算是一些掌控信息资源的企业,为了利用剩余的计算资源,通过商业模式创新与技术创新发展起来的。
第二,坚持成本效益原则,提高社会整体效益。有些大规模应用的物联网投资巨大,只有当其整体效益超过提供者和用户负担的成本时,投资才有意义。与此同时,还要发挥各种合作机制的作用,多层次、多渠道、多方式推进国际科技合作与交流。鼓励境外企业和科研机构在我国设立研发机构;鼓励我国企业和研发机构积极开展全球物联网产业研究,在境外开展联合研发和设立研发机构,大力支持我国物联网企业参与全球市场竞争,持续拓展技术与市场合作领域。
第三,应用导向,技术和标准先行。目前,全球物联网产业的核心技术尚不成熟,标准体系正在构建中。研制与物联网有关的标准不仅有利于规范市场、指导产业发展,而且对各国掌握物联网产业发展的主导权具有重要意义。因此,发达国家在发展物联网的过程中,一方面根据应用需求进行技术研发,掌握关键核心技术;另一方面要在制订标准上狠下功夫。
(作者系国务院发展研究中心技术经济部部长)

1高效分布式
必须是高效的分布式系统。物联网产生的数据量巨大,仅中国而言,就有5亿多台智能电表,每台电表每隔15分钟采集一次数据,一天全国智能电表就会产生500多亿条记录。这么大的数据量,任何一台服务器都无能力处理,因此处理系统必须是分布式的,水平扩展的。为降低成本,一个节点的处理性能必须是高效的,需要支持数据的快速写入和快速查询。
2实时处理
必须是实时处理的系统。互联网大数据处理,大家所熟悉的场景是用户画像、推荐系统、舆情分析等等,这些场景并不需要什么实时性,批处理即可。但是对于物联网场景,需要基于采集的数据做实时预警、决策,延时要控制在秒级以内。如果计算没有实时性,物联网的商业价值就大打折扣。
3高可靠性
需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统,如果数据处理系统宕机,直接导致停产,产生经济有损失、导致对终端消费者的服务无法正常提供。比如智能电表,如果系统出问题,直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的,必须支持数据实时备份,必须支持异地容灾,必须支持软件、硬件在线升级,必须支持在线IDC机房迁移,否则服务一定有被中断的可能。
4高效缓存
需要高效的缓存功能。绝大部分场景,都需要能快速获取设备当前状态或其他信息,用以报警、大屏展示或其他。系统需要提供一高效机制,让用户可以获取全部、或符合过滤条件的部分设备的最新状态。
5实时流式计算
需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行,而是需要通过将一个或多个设备产生的数据流进行实时聚合计算,不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此,计算的需求也相当复杂,因场景而异,应容许用户自定义函数进行计算。
6数据订阅
需要支持数据订阅。与通用大数据平台比较一致,同一组数据往往有很多应用都需要,因此系统应该提供订阅功能,只要有新的数据更新,就应该实时提醒应用。而且这个订阅也应该是个性化的,容许应用设置过滤条件,比如只订阅某个物理量五分钟的平均值。
7和历史数据处理合二为一
实时数据和历史数据的处理要合二为一。实时数据在缓存里,历史数据在持久化存储介质里,而且可能依据时长,保留在不同存储介质里。系统应该隐藏背后的存储,给用户和应用呈现的是同一个接口和界面。无论是访问新采集的数据还是十年前的老数据,除输入的时间参数不同之外,其余应该是一样的。
8数据持续稳定写入
需要保证数据能持续稳定写入。对于物联网系统,数据流量往往是平稳的,因此数据写入所需要的资源往往是可以估算的。但是变化的是查询、分析,特别是即席查询,有可能耗费很大的系统资源,不可控。因此系统必须保证分配足够的资源以确保数据能够写入系统而不被丢失。准确的说,系统必须是一个写优先系统。
9数据多维度分析
需要对数据支持灵活的多维度分析。对于联网设备产生的数据,需要进行各种维度的统计分析,比如从设备所处的地域进行分析,从设备的型号、供应商进行分析,从设备所使用的人员进行分析等等。而且这些维度的分析是无法事先想好的,而是在实际运营过程中,根据业务发展的需求定下来的。因此物联网大数据系统需要一个灵活的机制增加某个维度的分析。
10支持数据计算
需要支持数据降频、插值、特殊函数计算等 *** 作。原始数据的采集可能频次挺高,但具体分析时,往往不需要对原始收据进行,而是数据降频之后。系统需要提供高效的数据降频 *** 作。设备是很难同步的,不同设备采集数据的时间点是很难对齐的,因此分析一个特定时间点的值,往往需要插值才能解决,系统需要提供线性插值、设置固定值等多种插值策略才行。工业互联网里,除通用的统计 *** 作之外,往往还需要支持一些特殊函数,比如时间加权平均。
11即席分析和查询
需要支持即席分析和查询。为提高大数据分析师的工作效率,系统应该提供一命令行工具或容许用户通过其他工具,执行SQL查询,而不是非要通过编程接口。查询分析的结果可以很方便的导出,再制作成各种图标。
12灵活数据管理策略
需要提供灵活的数据管理策略。一个大的系统,采集的数据种类繁多,而且除采集的原始数据外,还有大量的衍生数据。这些数据各自有不同的特点,有的采集频次高,有的要求保留时间长,有的需要多个副本以保证更高的安全性,有的需要能快速访问。因此物联网大数据平台必须提供多种策略,让用户可以根据特点进行选择和配置,而且各种策略并存。
13开放的系统
必须是开放的。系统需要支持业界流行的标准SQL,提供各种语言开发接口,包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R,Matlab等等,方便集成各种机器学习、人工智能算法或其他应用,让大数据处理平台能够不断扩展,而不是成为一个孤岛。
14支持异构环境
系统必须支持异构环境。大数据平台的搭建是一个长期的工作,每个批次采购的服务器和存储设备都会不一样,系统必须支持各种档次、各种不同配置的服务器和存储设备并存。
15支持边云协同
需要支持边云协同。要有一套灵活的机制将边缘计算节点的数据上传到云端,根据具体需要,可以将原始数据,或加工计算后的数据,或仅仅符合过滤条件的数据同步到云端,而且随时可以取消,更改策略。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/dianzi/13326240.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-15
下一篇 2023-07-15

发表评论

登录后才能评论

评论列表(0条)

保存