从零开始设计环保监测物联网系统(二)

IOT网关，接收sensor数据的总入口，主要是日志，安全防护，流控，协议转换等功能，

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的，初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 和 安全防护 。

数据接收和转换功能 ，这里很简单，拟定好数据交互格式后，IOT网关按照约定好的格式进行解析，然后转发给后端服务进行进一步的处理

安全防护 ，设备的区分主要是依靠烧录到硬件的SN号来实现，SN号包含的信息比较多，如生产批次，设备型号等，受制于厂商我安全防护不能做的非常完善，同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密，协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话，要考虑设备厂商实现通信模块能力，设备功耗，设备性能（低端设备cpu性能可能比较差，可考虑对称加密形式），IOT网关也需要引入相应模块。

另外认证从性能方面考虑，后期在设备比较多的情况下，可以加入redis等内存型key-value数据库，缓存设备信息，提高鉴权模块性能。

实践中，我们的sensor基本都是依靠电池供电，因此我们的IOT网关基本是面向短链接（后期我们有监测设备，依靠外部电源直接供电，为长连接），因此在每次发起连接我们都要进行一次鉴权，鉴权通过后，设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右，才基本稳定下来，主要集中在设备商处除了硬件稳定性，还有在调试中发现传输的字符串乱码（c语言处理问题），沾包（厂商开发人员tcp协议不熟），优化传输效率，关闭cork或者 Nagle 算法（传输包很小）。

因为IOT网关不能主动断连接，理论 *** 作中，IOT网关应该和sensor有心跳协议，保证连接的有效性。设备商在数据流程交互完成后，竟然没有close 连接，直接休眠，导致网关所在服务器的连接的文件描述符一直没有正常释放，后面为了预防这种现象，我开启了 *** 作系统层面的keepalve定时器，回收失效连接（系统默认时间是2小时左右，我缩短了失效时间），理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计，是无状态，可伸缩的，单网关在普通型ecs上可轻松达到数百tps。

物联网的英文名称为"The Internet of Things” 。由该名称可见，物联网就是“物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础之上的延伸和扩展的一种网络；第二，扩展到了任其用户端延伸和何物品与物品之间，进行信息交换和通信。因此，物联网的定义是通过射频识别(RFID)装置、红外感应器、 全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
物联网的整个结构可分为射频识别系统和信息网络系统两部分。射频识别系统主要由标签和读写器组成，两者通过RFID空中接口通信。读写器获取产品标识后，通过internet或其他通讯方式将产品标识上传至信息网络系统的中间件，然后通过ONS解析获取产品的对象名称，继而通过EPC信息服务的各种接口获得产品信息的各种相关服务。整个信息系统的运行都会借助internet的网络系统，利用在internet基础上的发展出的通信协议和描述语言。因此我们可以说物联网是架构在internet基础上的关于各种物理产品信息服务的总和。从应用角度来看，物联网中三个层次值得关注，也即是说，物联网由三部分组成：一是传感网络，即以二维码、RFID、传感器为主，实现对“物”的识别。二是传输网络，即通过现有的互联网、广电网络、通信网络等实现数据的传输与计算。三是应用网络，即输入输出控制终端。
EPC系统是一个非常先进的、综合性的和复杂的系统。其最终目标是为每一单品建立全球的、开放的标识标准。它主要由全球产品电子代码(EPC)体系、射频识别系统及信息网络系统三大部分组成。
（1）EPC编码标准
EPC编码是EPC系统的重要组成部分，它是对实体及实体的相关信息进行代码化，通过统一并规范化的编码建立全球通用的信息交换语言。
（2）EPC标签
EPC标签是装载了产品电子代码的射频标签，通常EPC标签是安装在被识别对象上，存储被识别对象相关信息。标签存储器中的信息可由读写器进行非接触读/写。
32 EPC系统特点
（1）开放的体系结构
EPC系统采用全球最大的公用的刀又TERNET网络系统。这就避免了系统的复杂性，同时也大大降低了系统的成本，并且还有利于系统的增值。梅特卡夫(Metcalfe)定律表明，一个网络大的价值是用户本系统是应该开放的结构体系远比复杂的多重结构更有价值。
(2)独立的平台和高度的互动性
EPC系统识别的对象是一个十分广泛的实体对象，因此，不可能有那一种技术适用所有的识别对象。同时，不同地区，不同国家的射频识别技术标准也不相同。所以开放的结构体系必须具有独立的平台和高度的交互 *** 作性。EPC系统网络建立在INTERNET网络系统上可以与INTERNET网络所有可能的组成部分协同工作
(3)灵活的可持续发展的体系
EPC系统是一个灵活的开放的可持续发展的体系，可在不替换原有体系的情况下就可以做到系统升级。整体的EPC网络 *** 作依赖于RFID系统和网络应用系统的介入，使产品信息有效的传播。安装在不同需求链环境的解读器可以读取标签中储存的产品数据。因此供应链数据可以通过网络及时地检查、更新或者交换信息。
33 EPC编码编码标准
EPC码是新一代与EAN／UPC码兼容的编码标准，在EPC系统中EPC编码与现行GTIN相结合，因而EPC并不是取代现行的条码标准，而是由现行的条码标准逐渐过渡到EPC标准或者是在未来的供应链中EPC和EAN．UCC系统共存。EPC中码段的分配是由EAN．UCC来管理的。在我国，EAN．UCC系统中GTIN编码是由中国物品编码中心负责分配和管理。同样，ANCC也即将启动EPC服务来满足国内企业使用EPC的需求。
EPC码是由一个版本号加上另外三段数据(依次为域名管理者、对象分类、序列号)组成的一组数字。其中版本号标识EPC的版本号，它使得EPC随后的码段可以有不同的长度；域名管理是描述与此EPC相关的生产厂商的信息。
第四章 物联网在家庭中应用
随着时代的发展，中国已经逐步进入了老龄化社会，以后我们社会面临的现状将是一对年轻的夫妻，在照看自己小孩的同时，还要照看2～6对老人，这就为全社会出了一个难题。每家都雇保姆，显然不现实；那么，只能通过科技的手段来解决这个问题了，靠提高家庭的生活品质、方便家庭与外界的信息交互、用传感节点感知家里发生的情况等，这就为家庭物联网的实现奠定了社会基础。
物联网的概念正大行其道，也使人们看到了社会未来的发展趋势，然而物联网大部分却停留在概念阶段，真正规模应用还有待时日。家庭区域相对狭小、需求比较明确，最有可能优先实现物联网的应用。它不只是现代家庭现实的需要（照看老人、孩童），更是人们日益增强的家庭安全
41家庭物联网应用领域
寒冷的冬季，供暖系统使北方城市家庭充满温暖，而当白天大部分人离家上班的时候，空空的房间仍温暖如春。我们需要一个智能化的供暖控制系统。在生产安全领域，在食品卫生领域，在工程控制领域，在城市管理领域，在人们日常生活的各个方面，甚至在人们的娱乐活动中，都需要建立随时能与物体沟通的智能系统。通过装置在各类物体上的电子标签（RFID），传感器、二维码等经过接口与无线网络相连，从而给物体赋予智能，可以实现人与物体的沟通和对话也可以实现物体与物体相互间的沟通和对话。在电度表上装上传感器，供电部门随时都可知道用户的用电情况，实现用电检查、电能质量监测、负荷管理、线损管理、需求侧管理等高效一体化管理，一年来降低电损。在电梯装上传感器，当电梯发生故障时，无需乘客报警、电梯管理部门会借助网络在第一时间得信息，以最快的速度去现场处理故障。
42发展历程
1999年，物联网的概念就已被提出，10年间，世界各国都在加紧研究。物联网的发展共分为四个阶段：第一个阶段是大型机、主机的联网，第二个阶段是台式机、笔记本与互联网相联，第三个阶段是手机等一些移动设备的互联，第四阶段是嵌入式互联网兴起阶段，更多与人们日常生活紧密相关的应用设备，包括洗衣机、冰箱、电视、微波炉等都将加入互联互通的行列，最终形成全球统一的“物联网”。
对于互联网来说，20世纪80年代是黄金时代，这段时间出了一个知名的人物——鲍勃•卡恩（BobKahn），他被人们称为互联网之父（被赋予同样称呼的人还有好几个）。在为互联网做出卓越贡献的同时，他也非常有远见的为另一个始于上世纪80年代的项目——分布式传感网（DistributedSensorNet,简称DSN）——做了奠基。在那个年代，传感器远比我手上的这个大得多，要用一辆卡车来拉。这么大的传感器作为一个个节点组织在一起，通过微波彼此相连，就组成了传感网。
庞大的传感器在体积方面跟不上人们对其功用上的期望，于是研究者们就开始思考能不能把它做得小一点、再小一点。于是，在上世纪90年代，“智能微尘”（SmartDust）这个很有意思的概念出现了，提出者是KrisPister，他是加州大学伯克利分校的教授。这一概念认为可以将计算和通讯集成在约1~2平方毫米的超微型传感器中，用以对周围环境的参数进行探测。其核心的成分是微电机系统（Micro-Electro-MechanicalSystem,简称MEMS；这个概念在当时引起非常大的轰动），该系统中可以集成很多和机械有关的传感器。
当时KrisPister这批人有一个幻想——在蒲公英上面悬挂一个传感芯片，蒲公英飞到哪里就探测哪里的信号，再把信号传递回来。虽然只是一个假想，但当时真有科学家信心百倍地投入其中，并且还把所需的数据算出来了。比如有空气动力学专家计算出了芯片应有的重量等等。在2001年，加州大学伯克利分校的实验室真做出了这种理想中的芯片雏形，比米粒还小，可谓“细如发丝，薄如蝉翼”。他们送给了我一个，当时我还精心包装了一下。可惜最近找不到了，特别遗憾。倘若芯片里面还有电留存的话，说不定我就能通过网络定位到它的“安身之所”了。
在这一时期，有三所高校和研究机构在传感器领域处于领军地位，一是加州大学伯克利分校（以KrisPister为代表，他们提出了“智能微尘”理论），另外两个是加州大学洛杉矶分校（他们提出了“微无线技术”）和施乐帕克研究中心（XeroxPARC）。施乐帕克研究中心的团队主要由我带领，我们做的是传感信息处理和“智能物质”（SmartMatter），希望能把计算、微电机系统放到物理世界中，与“智能微尘”也有非常紧密的联系。
自本世纪初以来，对于传感的研究越来越受到人们的重视，有很多学校和大公司的研发机构开始进行了类似的研究，并有许多新兴公司借此东风异军突起。将传感器连接成“网”或“系统”，就成了传感网。除了传感网以外，类似的概念也相继提出，比如“CyberPhysicalSystem”和“InternetofThings”(简称IOT)。相较而言，IOT的概念在提出的初期更接近于日常生活，比如常见的RFID（RadioFrequencyIdentification，射频识别）技术就是它的一部分。
关于传感网和物联网的历史，若从大的传感器开始算起，传感网诞生至今应有30年了；而若从微传感网（MicroWirelessSensorNetwork）来说，应该仅有15至20年：微传感网始于上世纪90年代，那个时期的人们刚刚提出“微电机系统”的概念，试图把传感器和计算机处理和通讯全部都集成在一个芯片上，即“智慧微尘”。
其实传感器的历史，归结起来就八个字——从大到小，以点到面。这八个字看似简单，但做起来却是困难重重——要想让传感器真正“飞入寻常世界中”，它必需在体积、造价、能耗等方面进行“瘦身”，这样它才真正能够进入到物理世界。
然而，造型的缩小并不是传感进入生活的唯一条件，还需要互联网技术的配合以实现从点到面的网际联系。就IP地址而言，物联网应采用IPv6（IPv4必然不够），它有128位两进制的IP网址数，这相当于给世界上的每个沙粒都赋予了一个 IP地址。唯有当所有的物体都有一个属于自己的IP的时候，物联网才能真正实现。总而言之，物联网的实现需要这两方面的相辅相成：一是利用微处理技术（micro-fabrication），提高集成度；其二是运用IP技术，以提供足够丰富的网址。
43面临的问题
国内智能家居市场存在很多问题。1、进入门槛较高，一般一次性投入要1、2万元，这就大大限制了中等收入以下人群的购买需求。2、功能华而不实，很多都是遥控个灯光、音响，需求跟投入不成比例。3、生搬硬套，将原来很多工业上使用的东西直接照搬到家庭里，缺少人性化，不能完全适合家居生活需要。4、很多智能家居企业缺少核心技术，东拼西凑，组成个系统就推广，导致成本增高、企业竞争力下降。
RFID超高频技术在我国的应用尚处于起步阶段，一些项目的应用只是试点，还没有得到广泛应用，也没有在供链上应用。比如，只在某一个仓库里应用，或只在生产线上应用。应该说，这些试点项目全
都属于闭环状态的应用，在供应链上串起来应用的案例国内还没有出现。
物联网发展潜力无限，但物联网的实现并不仅仅是技术方面的问题，建设物联网过程将涉及到许多规划、管理、协调、合作等方面的问题，还涉及标准和安全保护等方面的问题，这就需要有一系列相应的配套政策和规范的制订和完善。
首先是技术标准问题。标准是一种交流规则，关系着物联网物品间的沟通。各国存在不同的标准，因此需要加强国家之间的合作，以寻求一个能被普遍接受的标准。
其次是安全的问题。物联网中的物品间联系更紧密，物品和人也连接起来，使得信息采集和交换设备大量使用，数据泄密也成为了越来越严重的问题。如何实现大量的数据及用户隐私的保护，成为待解决的问题。
第三，协议问题。物联网是互联网的延伸，在物联网核心层面是基于TCP/IP，但在接入层面，协议类别五花八门，CPRS、短信、传感器、TD-SCDMA、有线等多种通道，物联网需要一个统一的协议基础。
第四，终端问题。物联网终端除具有本身功能外还拥有传感器和网络接入等功能，且不同行业需求各异议，如何满足终端产品的多样化需求，对运营商来说的一大挑战。
第五，地址问题。每个物品都需要在物联网中被寻址，就需要一个地址。物联网需要更多的IP地址，IPv4资源即将耗尽，那就需要IPv6来支撑。IPv4 向IPv6过渡是一个漫长的过程，因此物联网一旦使用IPv6地址，就必然会存在与IPv4兼容性问题。
第六，费用问题。目前物联网所需的芯片等组件的费用较高，若把所有物品都植入识别芯片花费自然不少，如何有效解决这一问题仍需考虑。
第七，规模化问题。规模化是运营商业绩的重要指标，终端的价格、产品多样性、行业应用的深度和广度都会地用户规模产生影响，如何实现规模化是具有待商讨的问题。
第八，商业模式问题。物联网在商业应用方面的业务模式还不是很明朗，商业模式问题值得更进一步探讨。
第九，产业链问题。物联网所需要的自动控制、信息传感、射频识别等上游技术和产业已成熟或基本成熟，而下游的应用也单体形式存在。物联网的发展需要产业链的共同努力，实现上下游产业的联动，跨专业的联动，从而带动整个产业链，共同推动物联网发展。
要建立一个有效的物联网,有两大难点必须解决:一是规模性,只有具备了规模,才能使物品的智能发挥作用;二是流动性,物品通常都不是静止的,而是处于运动的状态,必须保持物品在运动状态,甚至高速运动状态下都能随时实现对物品的监控和追踪。
实现物联网，首先必须在所有物品中嵌入电子标签等存储体，并需安装众多读取设备和庞大的信息处理系统，这必然导致大量的资金投入。因此，在成本尚未降至能普及的前提下，物联网的发展将受到限制。已有的事实均证明，在现阶段，物联网的技术效率并没有转化为规模的经济效率，目前的所谓物联网应用也没有一个在商业上获得了较大成功。例如，智能抄表系统能将电表的读数通过商用无线系统（如GSM短消息）传递到电力系统的数据中心，但电力系统仍没有规模使用这类技术，原因在于这类技术没有经济效率。
物联网的关键在于RFID、传感器、嵌入式软件及传输数据计算等领域，包括“云计算”、无线网络的扩容和优化等均是物联网普及需解决的问题。只有通过“云计算”技术的运用，才能使数以亿计的种类物品的实时动态管理变得可能。从目前国内产业发展水平而言，传感器产业人水平较低，高端产品为国外厂商垄断。

物联网的技术原理

事实上，物联网的原理是在计算机互联网的基础上，利用RFID、无线数据通信技术，构建覆盖全球数万座建筑的物联网。在这个网络中，建筑物（物品）之间可以在不需要人工干预的情况下进行通信。其实质是利用射频自动识别技术，通过计算机互联网实现物品之间的自动识别和信息的互联与共享。

物联网的核心技术还在云计算中，云计算是物联网实现的核心。物联网的三个关键技术和领域包括：传感器技术、RFID标签技术、嵌入式系统技术。领域：公共事务管理(节能环保、交通管理等)、公共社会服务(医疗健康、家居建筑、金融保险等)、经济发展(能源电力、物流零售等)。

传感器技术是计算机应用中的一项关键技术，将传输线上的模拟信号转化为可由计算机处理的数字信号。

RFID，即射频识别，是一种集射频技术和嵌入式技术于一体的集成技术，在不久的将来将广泛应用于自动识别和货物物流管理。

嵌入式系统技术是集计算机软件、计算机硬件、传感器技术、集成电路技术和电子应用技术为一体的复杂技术。

物联网使用场景，主要体现在几个步骤：采集、传输、计算、展示

物联网终端采集数据，将数据传送给服务器，服务器存储和处理数据，并将数据显示给用户。

例如，自行车是共享的，前向过程是自行车获取GPS位置数据，通过2G网络向服务器报告，服务器记录自行车位置信息，用户在APP终端查看自行车位置。反向处理是用户向服务器发出解锁请求，服务器通过2G网络向自行车发送解锁指令，自行车执行解锁指令。

物联网的大大小小的应用都是基于正向数据采集和反向指令控制实现的。

传输模式的选择：取决于距离和功耗

物联网的联网方式：

近距离低功耗，带BLE或ZigBee。

远距离低功耗，NB-IoT或2G

近距离大数据，带WiFi

大数据远程，使用4G网络

关于网络布局：

远距离传输比短距离传输更昂贵，功耗更高。合理使用远距离和远距离配置可以有效降低物联网终端的成本。

例如，原始共享自行车被2G网络解锁，需要数据的长连接或下行短消息解锁，功耗高，下载的共享自行车丢弃了远程解锁，直接使用手机的蓝牙解锁自行车，节省数据流，降低功耗，本发明还可以提高解锁速度，剩余能量电动自行车智能充电站也是物联网的高科技产品，采用最新的窄带通信技术引领电动自行车充电设备的技术高度。

云服务设计

物联网的云服务器和应用程序设计与I互联网基本一致，Java、PHP和ASP可用于物联网的后台处理。

移动互联网是“人-服务器-人”的框架，物联网是"物-服务器-人"的框架，两者是相同的，物联网终端设备也采用TCP、>

总结简图

物联网架构按层级来划分可分为3个层级： 感知层、传输层、应用层。

首先底层是用来感知数据的感知层，感知层包括传感器等数据采集设备，包括数据接入到网关之前的传感器网络。感知层是物联网发展和应用的基础，RFID技术、传感和控制技术、短距离无线通信技术是感知层涉及的主要技术，其中又包括芯片研发、通信协议研究、RFID材料、智能节电供电等细分技术。

第二层是数据传输的传输层，网络层中的感知数据管理与处理技术是实现以数据为中心的物联网的核心技术，其包括传感网数据的存储、查询、分析、挖掘、理解及基于感知数据决策和行为的理论和技术。云计算平台作为海量感知数据的存储、分析平台，将是物联网网络层的重要组成部分。

最上层是应用层，物联网的应用层利用经过分析处理的感知数据为用户提供丰富的特定服务，可分为监控型（物流监控、污染监控）、查询型（智能检索、远程抄表）、控制型（智能交通、智能家居、路灯控制）、扫描型（手机钱包、高速公路不停车收费）等。应用层是物联网发展的目的，软件开发、智能控制技术将会为用户提供丰富多彩的物联网应用。

如果以人的神经网络做类比，那么人的感觉器官就是物联网的感知层，如眼睛能采集视觉信息，鼻子采集气味信息，嘴巴采集味道信息，而耳朵采集声音信息。这些信息通过神经元传递到大脑中枢，那么这些神经元形成的神经传输通道就相当于物联网中的传输层，它的作用是把信息传送到处理中心。那么人的大脑就相当于应用层了，当它接受到来自眼睛，鼻子、嘴巴、耳朵等信息后，它可以综合去得出一些有用的结论，例如判断现在是否有危险，能够读书看等，这就相当于它应用了来自感知层的信息并产生了价值。

像工业网关在物联网中就是负责传输数据的，爱陆通的工业物联网网关是基于5G/4G、WIFI、虚拟专网等技术开发的。以嵌入式 *** 作系统为软件支撑平台，同时支持1个千兆以太网WAN、4个千兆以太网LAN、1个RS232/RS485（可选）接口和24G/58G WIFI接口，可同时连接串口设备、以太网设备和 WIFI 设备。

网络节点集成接口、基于REST风的格终端节点、网络 Mashup功能。物联网（Internet of Things，IOT；也称为Web of Things）是指通过各种信息传感设备，实时对任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。物联网（Web of Things）的基本框架由以下3部分组成：网络节点集成接口（Integration Interface of Network Node）。基于REST风的格终端节点（Terminal Nodes Based on REST Style），对智能设备可进行移动和临时安装。网络 Mashup功能（Web Mashup Function），增强可视化、可预见、可预报和维护日程的能力。物联网是互联网的延伸，它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素(所有的设备、资源及通信等)都是个性化和私有化。

大数据云计算物联网人工智能如何用于数媒制作，方法如下:
1首先了解大数据所表达的问题，以及其中相对应的数据流。
2大数据是人工智能的基础，数媒制作需要人工智能中的虚拟现实技术，利用其来构造框架。
3大数据和物联网的技术融合，可以创造物体无限互联，网络无限延伸的深层应用效果。计算机技术快速发展的当下，数据之间可以进行高速、有效的传播，并且信息的处理效率也不断地加快，使数媒制作有新方向。

---