从零开始设计环保监测物联网系统(二)

从零开始设计环保监测物联网系统(二),第1张

IOT网关,接收sensor数据的总入口,主要是日志,安全防护,流控,协议转换等功能,

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的,初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 安全防护

数据接收和转换功能 ,这里很简单,拟定好数据交互格式后,IOT网关按照约定好的格式进行解析,然后转发给后端服务进行进一步的处理

安全防护 ,设备的区分主要是依靠烧录到硬件的SN号来实现,SN号包含的信息比较多,如生产批次,设备型号等,受制于厂商我安全防护不能做的非常完善,同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密,协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话,要考虑设备厂商实现通信模块能力,设备功耗,设备性能(低端设备cpu性能可能比较差,可考虑对称加密形式),IOT网关也需要引入相应模块。

另外认证从性能方面考虑,后期在设备比较多的情况下,可以加入redis等内存型key-value数据库,缓存设备信息,提高鉴权模块性能。

实践中,我们的sensor基本都是依靠电池供电,因此我们的IOT网关基本是面向短链接(后期我们有监测设备,依靠外部电源直接供电,为长连接),因此在每次发起连接我们都要进行一次鉴权,鉴权通过后,设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右,才基本稳定下来,主要集中在设备商处除了硬件稳定性,还有在调试中发现传输的字符串乱码(c语言处理问题),沾包(厂商开发人员tcp协议不熟),优化传输效率,关闭cork或者 Nagle 算法(传输包很小)。

因为IOT网关不能主动断连接,理论 *** 作中,IOT网关应该和sensor有心跳协议,保证连接的有效性。设备商在数据流程交互完成后,竟然没有close 连接,直接休眠,导致网关所在服务器的连接的文件描述符一直没有正常释放,后面为了预防这种现象,我开启了 *** 作系统层面的keepalve定时器,回收失效连接(系统默认时间是2小时左右,我缩短了失效时间),理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计,是无状态,可伸缩的,单网关在普通型ecs上可轻松达到数百tps。

●传感器技术:价格低廉、性能良好的传感器是物联网应用的基石,物联网的发展要求更准确、更智能、更高效以及兼容性更强的传感器技术。智能数据采集技术是传感器技术发展的一个新方向。信息的泛在化对传感器和传感装置提出了更高的要求。具体如,微型化:元器件的微小型化,要求节约资源与能源;智能化:具备自校准、自诊断、自学习、自决策、自适应和自组织等人工智能技术;低功耗与能量获取技术:供电方式为电池、阳光、风、温度、振动等多种方式。
●设备兼容技术:大部分情况下,企业会基于现有的工业系统建造工业物联网,如何实现工业物联网中所用的传感器能够与原有设备已应用的传感器相兼容是工业物联网推广所面临的问题之一。传感器的兼容主要指数据格式的兼容与通信协议的兼容,兼容关键是标准的统一。目前,工业现场总线网络中普遍采用的如Profibus、Modus协议,已经较好地解决了兼容性问题,大多数工业设备生产厂商基于这些协议开发了各类传感器、控制器等。近年来,随着工业无线传感器网络应用日渐普遍,当前工业无线的WirelessHART、ISA100.11a以及wIA—PA3大标准均兼容了IEEE802.15.4无线网络协议,并提供了隧道传输机制兼容现有的通信协议,丰富了工业物联网系统的组成与功能。
●网络技术:网络是构成工业物联网的核心之一,数据在系统不同的层次之间通过网络进行传输。网络分为有线网络与无线网络,有线网络一般应用于数据处理中心的集群服务器、工厂内部的局域网以及部分现场总线控制网络中,能提供高速率高带宽的数据传输通道。工业无线传感器网络则是一种新兴的利用无线技术进行传感器组网以及数据传输的技术,无线网络技术的应用可以使得工业传感器的布线成本大大降低,有利于传感器功能的扩展,因此吸引了国内外众多企业和科研机构的关注。
传统的有线网络技术较为成熟,在众多场合已得到了应用验证。然而,当无线网络技术应用于工业环境时,会面临如下问题:工业现场强电磁干扰、开放的无线环境让工业机器更容易受到攻击威胁、部分控制数据需要实时传输。相对于有线网络,工业无线传感器网络技术则正处在发展阶段,它解决了传统的无线网络技术应用于工业现场环境时的不足,提供了高可靠性、高实时性以及高安全性,主要技术包括:自适应跳频、确实性通信资源调度、无线路由、低开销高精度时间同步、网络分层数据加密、网络异常监视与报警以及设备入网鉴权等。
●信息处理技术:工业信息出现爆炸式增长,工业生产过程中产生的大量数据对于工业物联网来说是一个挑战,如何有效处理、分析、记录这些数据,提炼出对工业生产有指导性建议的结果,是工业物联网的核心所在,也是难点所在。
当前业界大数据处理技术有很多,如SAP的BW系统在一定程度上解决了大数据给企业生产运营带来的问题。数据融合和数据挖掘技术的发展也使海量信息处理变得更为智能、高效。工业物联网泛在感知的特点使得人也成为了被感知的对象,通过对环境数据的分析以及用户行为的建模,可以实现生产设计、制造、管理过程中的人一人、人一机和机一机之间的行为、环境和状态感知,更加真实地反映出工业生产过程中的细节变化,以便得出更准确的分析结果。
●安全技术:工业物联网安全主要涉及数据采集安全、网络传输安全等过程,信息安全对于企业运营起到关键作用,例如在冶金、煤炭、石油等行业采集数据需要长时问的连续运行,如何保证在数据采集以及传输过程中信息的准确无误是工业物联网应用于实际生产的前提。

物联网用途广泛遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。 国际电信联盟于2005年的报告曾描绘“物联网”时代的图景当司机出现 *** 作失误时汽车会自动报警公文包会提醒主人忘带了什么东西衣服会“告诉”洗衣机对颜色和水温的要求等等。物联网在物流领域内的应用则比如一家物流公司应用了物联网系统的货车当装载超重时汽车会自动告诉你超载了并且超载多少但空间还有剩余告诉你轻重货怎样搭配当搬运人员卸货时一只货物包装可能会大叫“你扔疼我了”或者说“亲爱的请你不要太野蛮可以吗”当司机在和别人扯闲话货车会装作老板的声音怒吼“笨蛋该发车了” 物联网把新一代IT技术充分运用在各行各业之中具体地说就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中然后将“物联网”与现有的互联网整合起来实现人类社会与物理系统的整合在这个整合的网络当中存在能力超级强大的中心计算机群能够对整合网络内的人员、机器、设备和基础设施实施实时的管理和控制在此基础上人类可以以更加精细和动态的方式管理生产和生活达到“智慧”状态提高资源利用率和生产力水平改善人与自然间的关系。 毫无疑问如果“物联网”时代来临人们的日常生活将发生翻天覆地的变化。然而不谈什么隐私权和辐射问题单把所有物品都植入识别芯片这一点现在看来还不太现实。人们正走向“物联网”时代但这个过程可能需要很长的时间。 应用案例 一物联网传感器产品已率先在上海浦东国际机场防入侵系统中得到应用。 系统铺设了3万多个传感节点覆盖了地面、栅栏和低空探测可以防止人员的翻越、偷渡、恐怖袭击等攻击性入侵。而就在不久之前上海世博会也与中科院无锡高新微纳传感网工程技术研发中心签下订单购买防入侵微纳传感网1500万元产品。 二ZigBee路灯控制系统点亮济南园博园。ZigBee无线路灯照明节能环保技术的应用是此次园博园中的一大亮点。园区所有的功能性照明都采用了ZigBee无线技术达成的无线路灯控制 三智能交通系统(ITS) 是利用现代信息技术为核心利用先进的通讯、计算机、自动控制、传感器技术实现对交通的实时控制与指挥管理。交通信息采集被认为是ITS的关键子系统是发展ITS的基础成为交通智能化的前提。无论是交通控制还是交通违章管理系统都涉及交通动态信息的采集交通动态信息采集也就成为交通智能化的首要任务。 四首家高铁物联网技术应用中心在苏州投用 我国首家高铁物联网技术应用中心2010年6月18日在苏州科技城投用该中心将为高铁物联网产业发展提供科技支撑。 高铁物联网作为物联网产业中投资规模最大、市场前景最好的产业之一正在改变人类的生产和生活方式。据中心工作人员介绍以往购票、检票的单调方式将在这里升级为人性化、多样化的新体验。刷卡购票、手机购票、电话购票等新技术的集成使用让旅客可以摆脱拥挤的车站购票与地铁类似的检票方式则可实现持有不同票据旅客的快速通行 清华易程公司工作人员表示为应对中国巨大的铁路客运量该中心研发了目前世界上最大的票务系统每年可处理30亿人次而目前全球在用系统的最大极限是5亿人次。 五国家电网首座220千伏智能变电站 2011年1月3日国家电网首座220千伏智能变电站――无锡市惠山区西泾变电站日前投入运行并通过物联网技术建立传感测控网络实现了真正意义上的“无人值守和巡检”。西泾变电站利用物联网技术建立传感测控网络将传统意义上的变电设备“活化”实现自我感知、判别和决策从而完成自动控制。完全达到了智能变电站建设的前期预想设计和建设水平全国领先。 六、首家手机物联网落户广州 将移动终端与电子商务相结合的模式让消费者可以与商家进行便捷的互动交流随时随地体验品牌品质传播分享信息实现互联网向物联网的从容过度缔造出一种全新的零接触、高透明、无风险的市场模式。手机物联网购物其实就是闪购。广州闪购通过手机扫描条形码、二维码等方式可以进行购物、比价、鉴别产品等功能。 专家称这种智能手机和电子商务的结合是“手机物联网”的其中一项重要功能。有分析表示预计2013年手机物联网占物联网的比例将过半

《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是物联网设备网关技术架构设计(Session 管理、心跳管理、数据上行、数据下行)TCP Gateway。

物联网设备网关技术架构设计(Session 管理、心跳管理、数据上行、数据下行)

NioEventLoop 是 Netty 的 Reactor 线程,其角色:

基于Netty构建TCP网关的长连接容器,作为网关接入层提供服务API请求调用。

客户端通过域名+端口访问TCP网关,域名不同的运营商对应不同的VIP,VIP发布在LVS上,LVS将请求转发给后端的HAProxy,再由HAProxy把请求转发给后端的Netty的IP+Port。

LVS转发给后端的HAProxy,请求经过LVS,但是响应是HAProxy直接反馈给客户端的,这也就是LVS的DR模式。

其中步骤一至步骤九是指 Netty 服务端的创建时序,步骤十至步骤十三是 TCP 网关容器创建的时序。

Window 地址 // C:WindowsSystem32driversetchosts

添加 127001 iot-openicloudcom

位置: comibyteiottestserverTestTcpServer

位置: comibyteiottestclientTcpClient

更多内容:>提示你一些实际的案例和经验
我曾和南京农业大学的作物模型专家交流过,我们单位作为物联网技术、产品提供者,他们提供模型共同设计农业专家系统。其中就涉及到你所说的关键技术。
温室番茄植株个体的生长有相应的产品来监测。番茄属于茄果类,生长环境中的CO2、光照和温度、湿度对其品质都有很大影响,单纯监测植株个体意义不是很大,也需要多环境(需要根据不同的环境因子进行调控)的对比,同时需要长期的、实时的记录。通过分析各个不同环境因子、生长条件所结果实,来对比差别:果实品质的差别、经济效益的差别、社会效益的差别等。
至于说物联网在其中的关键技术研究,主要是无线传感网方面的传感器、数据采集、传输、处理。这个系统我们已经完全成熟了,去年就开始大面积推广了。
根据我多年的经验,这种对比性的实验对比数据,是极度缺乏的,但价值却是非常大。
如果你有兴趣,可以深入交流。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/dianzi/13412668.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-31
下一篇 2023-07-31

发表评论

登录后才能评论

评论列表(0条)