从零开始设计环保监测物联网系统(二)

IOT网关，接收sensor数据的总入口，主要是日志，安全防护，流控，协议转换等功能，

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的，初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 和 安全防护 。

数据接收和转换功能 ，这里很简单，拟定好数据交互格式后，IOT网关按照约定好的格式进行解析，然后转发给后端服务进行进一步的处理

安全防护 ，设备的区分主要是依靠烧录到硬件的SN号来实现，SN号包含的信息比较多，如生产批次，设备型号等，受制于厂商我安全防护不能做的非常完善，同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密，协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话，要考虑设备厂商实现通信模块能力，设备功耗，设备性能（低端设备cpu性能可能比较差，可考虑对称加密形式），IOT网关也需要引入相应模块。

另外认证从性能方面考虑，后期在设备比较多的情况下，可以加入redis等内存型key-value数据库，缓存设备信息，提高鉴权模块性能。

实践中，我们的sensor基本都是依靠电池供电，因此我们的IOT网关基本是面向短链接（后期我们有监测设备，依靠外部电源直接供电，为长连接），因此在每次发起连接我们都要进行一次鉴权，鉴权通过后，设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右，才基本稳定下来，主要集中在设备商处除了硬件稳定性，还有在调试中发现传输的字符串乱码（c语言处理问题），沾包（厂商开发人员tcp协议不熟），优化传输效率，关闭cork或者 Nagle 算法（传输包很小）。

因为IOT网关不能主动断连接，理论 *** 作中，IOT网关应该和sensor有心跳协议，保证连接的有效性。设备商在数据流程交互完成后，竟然没有close 连接，直接休眠，导致网关所在服务器的连接的文件描述符一直没有正常释放，后面为了预防这种现象，我开启了 *** 作系统层面的keepalve定时器，回收失效连接（系统默认时间是2小时左右，我缩短了失效时间），理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计，是无状态，可伸缩的，单网关在普通型ecs上可轻松达到数百tps。

物联网 (Internet of Things IOT)在大数据 (Big Data) 之后顺理成章的响应起来, 比起较为看不见的大数据，物联网看得见摸得着，而且也是人类从19世纪第一次工业革命之后，第一次考虑地球永续的产业升级。
为什么是物联网？ 因为大数据。
首先，包含这三个阶段才称得上大数据： 1 统计分析 2 预测和推荐 3 智能优化。统计分析是目前为止普罗大众对于大数据的理解(或说是误解)，而后两者需要大量且不间断的数据搜集和分类，才能够帮助 *** 作人员/管理人员提供有效的预测或推荐，再基于3-5年的预测推荐实施结果，不停的搜集案例，最终提供自动优化和分配资源的能力。
越细的资料反馈就会让分析统计的精准度越高。 大数据现在就像是张有残缺的乐谱，中间丢失很多细节，而物联网可以帮助把乐谱丢失的细节补完。因为现在人类所拥有的情报并不足以支撑大数据变成有力的辅助工具，所以让所有的产业内的人，以及物理资产的零部件都能帮助提供数据，则成为大数据打底的基础工作。
基于不同国家有不同的优势和战略，物联网革命也在不同的国家有不同的应用。例如最早感知到并且开始启动的是德国, 政府称之为工业40，从去年就为其拟定了白皮书，目标是智能的工厂产线；在美国更着重在智慧交通和智能电网，中国则把目标放在智慧城市。
第一次工业革命是蒸汽机的发明；第二次工业革命是机械的使用，帮助产线劳动力解放，以及劳工分级；第三次工业革命是开始使用电力和机器人帮助大量自动化生产；第四次工业革命，则是希望利用无数的传感器，帮助遍布在全球的协作工厂去预测并优化生产，避免匮乏与过量。
这就是为什么物联网被放在下一轮各个国家重要的战略方针内，物联网的将建立所有物理资产零组件的联网沟通能力，物联网和互连网虽然相辅相成，但在规模上远远不同。首先物理资产上亿乃至数十亿, 控管和数据吞吐处理能力将成为一大考验，更别提上下游各层人员的需求分析。
举例以某省想实施智能电网来说，目前该省已经部属大量的智能电表到各个家户中，但其电厂能够处理的智能电表只能一次取回数十万个电表数据，并且一小时才能取一次，利用率可说凄惨。
因此，部属物联网世界不只是硬件工程产业的工作，同时也需要软件解决方案和体验设计专业人员一同共同打造。

最近，一直收到很多邀请，都是关于物联网专业相关的。比如："物联网专业是骗人的吗？"、“计算机科学与技术和物联网工程怎么选？”等等。

本篇文章，就简单分析一下物联网专业，算是做一个统一的回答吧。主要以物联网工程专业作为视角进行解读。

物联网工程专业是学什么的？

物联网涵盖的技术是很多的，大概包括：传感器技术、电路设计、端到端通信、嵌入式开发、网络通信、APP开发、云服务开发等等。这些特点，决定了物联网工程是一个很宽泛的专业。它需要学习的课程，大概是计算机科学与技术、电子信工程、通信工程等等的课程的综合体。需要学习的知识，还是比较杂的。物联网里面的每一项技术都会有涉猎，但都是基础知识，并不能让你聚焦于某一项物联网技术。如果想深入某一项技术，估计得是工作之后或者考研究生了。

我想设计这个专业的最大的意义就是通晓物联网所有环节，陪养物联网的复合型人才。

物联网工程专业好就业吗？

很多学物联网工程的同学问，”学物联网太杂乱了，感觉什么都学，什么也不精通，怎么办？“。

其实在大学里面，无论什么专业都是学的基础知识，并不会让你精通。只有你考研究生的时候，才会进一步选择专业方向，继续深造下去，才能谈精通的问题。

说回物联网工程专业，那它好就业吗？刚才说了，物联网工程会学到计算机、电子信息、通信工程等等的知识。所以选择面是很广的，它们毕业了能干什么，一般物联网工程的也能干什么。但是，也会缺少一些必要的知识。所以，我的建议就是，在保证拿到毕业z书的前提下，提前想好一个就业方向，比如：软件开发、电路设计等等，然后，适当的补足欠缺的知识。在毕业之前，找一家合适的实习单位，就业应该是没那么难了。这种工科专业，基础知识基本一样，课程设置只有一些细微的差别，学起来不会有太多的困难。

另外，从大势上来说，随着5G的到来，物联网会进入一个更高的发展平台，应该会有比较大的发展。前景还是不错的。

总结一下，就是物联网工程专业，就业可选择的范围很广，理论上来说是比较好就业的。

我们该如何选择专业？

我再拓展一下，很多人也在问“要不要选择物联网专业？适不适合女生”。其实，这就是一个我们如何选择专业的问题。

下面是我的不太成熟的意见：

第一步，先要看下，大学毕业以后，这个专业，可选择的职位有哪些？比如：计算机科学与技术，可选择的职位有：程序员、测试工程师、产品经理等等；

第二步，看一下这个专业和这些职位，可以从事哪些行业。以程序员来说，可以从事的行业是很多的，互联网、金融、电信等等；

第三步，查一下行业的发展前景和职位的发展前途，包括它们的工作环境，结合自身的情况，再来判断你适不适合这个专业。

总之，物联网工程专业学的博而不精，但是就业选择范围很广。适不适合，需要根据专业的可选择职位和行业前景，进行判断。

2010年8月26日,深圳经济特区成立30周年。这个拥有约900万常住人口、生产总值超过8000亿元的城市,在30年前仅仅是一个边陲小镇,只有26万人口、7辆汽车和2条水泥路。深圳的快速发展离不开地处改革开放前沿的深圳海关的支持,目前,深圳海关旅检业务占全国55%,加工贸易监管占全国1/5,快件监管业务占全国1/3,税收征管约占全国9%,运输工具监管约占全国70%。深圳口岸是全国最繁忙的主要口岸,深圳海关也是全国任务最繁重的海关之一。

“敢为天下先”的锐意创新精神,雕琢着深圳的巨变。新形势下,当热遍全国的物联网概念逐步寻求落地时,深圳海关正成为海关总署物联网应用的示范单位。

自动核放 5秒钟通关

深圳皇岗口岸,是全中国最大的公路口岸,素有“亚洲第一陆路口岸”之称。进出境车辆高峰时一天接近4万辆次,包括本地清关车、集中报关车、转关车、大小客车等。可是让记者感到吃惊的是,皇岗口岸并不像想象中那样车水马龙,堵塞不堪。上午10点,这里的进出关车辆并没发生排队现象,而且每条车道上,都没有工作人员值守,而是由系统对车辆自动核准出入。看似简单的抬杆、通行过程,背后是什么在支撑呢
深圳海关原副总工程师程仰贤告诉记者:“2002年深圳海关把自动感应技术和互联网技术相结合,全面应用了自动核放系统,把以前每辆车通道上平均的通关时间由2分钟缩减到了5~6秒钟。以前通道上由于人工收单、录入核单、盖章,通关车辆动不动就堵上2~3公里。自从实施了自动核放系统以后,堵车现象消失了。”现在程仰贤和他的同事们的手机24小时处于开机状态,一旦运行监控系统检测出问题就会告警进行短信通知,技术人员就会立即处理。从服务器、存储系统、网络系统到应用系统、数据交换系统的各种故障,大都能得到及时解决,使技术故障对通关业务的影响大大降低。
相关人员向记者介绍,抬杆放行这一个简单动作,后面的支撑技术却不少――公路口岸车辆自动核放系统主要应用RFID射频识别技术,集成了电子车牌、司机识别卡、电子地磅、电子栏杆、地感线圈、红绿信号灯、声音报警、LED显示、防闯关路障、红外感应、GPS和电子关锁通信设备等多项数据采集传感器和末端设备。
正是依靠多种技术的综合应用,才实现了在海关关员的监控下对进出境车辆进行自动、快速地验放。并且这些感应得来的数据真正进入了业务系统,参与判别与决策,做到了不仅有“感”,还有“知”。例如,电子车牌自动识别系统采集、识别进出境车辆的资料数据,登记进出境记录;司机卡自动识别系统采集、识别司机身份的资料数据;电子地磅的作用则是在车辆经过通道时,采集车辆和货物的重量,并与申报数据进行对碰;如果上述几个判别结果都符合条件,那么电子闸门被打开,若车辆数据异常或受布控的车辆经过时,报警器会发出鸣叫。
记者在皇岗口岸的海关监控室看到,屏幕上不断显示出各个通道通行车辆的信息,除了正常车辆外,还会在窗口下部显示车辆查控情况,比如“货物总重量申报不符”、“该车获控”等信息。据了解,有的车辆为了逃避关税,在入关时,装载的货物远多于申报的货物;而在出关时,为了享受出口退税的政策,又会使申报货物数量多于实际数量。如何快速查验这些情况除了采取开箱抽查外,通过电子地磅大致称出其重量也是种快速比对方式。此外,系统的风险分析数据库会将一些经常有问题的车辆或公司的车号提取出来,当这些车通关时,将获布控被抽查,这样就将风险分析前置,使信息与物流监控高度融合。
据工作人员介绍,目前全关的公路、海运、特殊监管区域、内陆车场卡口在运行通道累计339条,7×24小时不间断验放。其中,公路口岸自动核放系统日均验放进出境车辆4万辆次以上,电子车牌发放数量47万张,司机识别卡超过6万张。

电子关锁 RFID是 “心脏”

在自动核放出入境的车辆中,记者发现一类特殊的车辆,它们的尾部挂着一把电子关锁,其外形跟正常的锁类似,只是形体较大。但是据程仰贤介绍,这是内部带有RFID芯片的电子锁。
现行海关转关直通货物监管主要采用传统的一次性铅封方式,以排队领封、人工 *** 作、肉眼识别等方式对集装箱进行机械施封、验封、解封,运行成本高、安全性低。这种监管方式 *** 作效率低,远远不能满足海关大密度、高强度业务流量的监管要求。
2009年6月30日,按照广东分署的统一部署,深圳海关辖下的盐田港与黄埔海关辖下的车检场在广东省内率先正式启用电子关锁卡口联网,两地卡口联网试点车辆逐步推广使用电子关锁。
电子关锁的外形就像正常的锁,也为司机配有钥匙,司机将锁安置在车门或集装箱门上以后,通关时如果数据核对成功,当关员发送放行指令,过通道时卡口系统发出施封指令,电子关锁的RFID感应到这些信号以后则自动施封。电子关锁坚固耐用、防伪性强,属于机械与电子双重锁闭,具有机械锁定、电子施封双重功能。电子关锁作为无线终端,主要实现信息存储、无线通信、机构控制、状态监测等功能。
“电子关锁卡口联网的主要业务模式是国内海运转关,大鹏海关作为口岸海关,使用总署版卡口控制与联网系统。”程仰贤介绍说,在深圳盐田港,卡口系统自动对电子关锁验封、解封,无需耗费大量人力;试点车辆的《司机薄》不用经过海关批注、盖章,节省了《司机薄》流转的时间和成本。记者了解到,目前参与电子关锁卡口联网试点的车辆约4000多辆,从2009年6月30日到2010年7月31日,参与电子关锁卡口联网试点的车次累计超过17万辆次,目前电子关锁卡口联网试点车辆日均800车次以上。电子关锁卡口联网应用之前,每辆车平均每天只能跑一趟,现在每辆车平均每天可以跑15趟,效率提高了50%。
记者在皇岗口岸看到,一些司机仍然在监管场所排队购买铅封锁,售价大概10元钱一个,是需要等待关员手工施封验封的,这类锁无法保证通关车辆在全过程不被开启,而且容易被仿效。程仰贤介绍说:“现在铅封锁与电子关锁并存,电子关锁可以使每车次时间节省30分钟到1个小时,售价也不贵,还可以大大提高通关效率,未来有替代传统锁的趋势。由于卡口验放自动化程度高,海关允许车辆24小时通关,深受一些快件企业的欢迎。”联邦快递、EMS等都装备了电子关锁。据了解,为了使电子关锁行遍各个口岸,近期海关总署正在组织标准制定工作。
目前,电子关锁已经成为跨境快速通关的核心支撑技术。
现实工作中,当从事跨境公路货物运输业务的承运人或代理人,在车辆进境前或出口货物报关单申报前,向出境地或启运地海关申报载货清单电子数据,海关应用电子关锁和GPS卫星定位等监控手段进行途中监控,如果有人试图开启电子关锁或集装箱离开车体,报警信号会通过车载设备传给监控中心,这样就能对车辆及其所载货物进行实时监控。
据了解,跨境快速通关于2007年8月启运,截至2010年8月,共开展了46万车次的应用,使深圳海关成为大通关链条中最快捷、最方便的一环。目前跨境快速通关主要应用于香港、澳门到全国海关货运、快件监管,业务量日均140车次左右。

物联网充当前海湾保税区“保镖”

2010年8月19日,是深圳前海湾保税港区封关运作一周年的日子,截至2010年8月,码头吞吐量已近180万标箱,进出口总值约46亿美元,海关监管货运量155万吨,审核各类报关单证11万份,上缴税款54亿元人民币。深圳前海湾保税港区是海关特殊监管区域,用地面积1174平方公里,包括深圳招商局海运物流有限公司全部用地,妈湾港5、6、7号泊位及堆场。但是,特殊监管场所之间的物流调拨监控问题一度困扰着保税港区。
在2009年前海湾保税港区建设时,由于特殊的地域限制,保税园区与保税港区之间需经过社会道路,无法实现封闭围网。这个时候,深圳海关通过综合运用电子关锁、GPS、CCTV(闭路电视监控系统)等技术手段实现了区域间的物流严密监控,建立起了电子围网。
在蛇口海关的监控中心里,记者看到一整面显示大屏,工作人员通过它实时、动态地监控着调拨物流的状态。监管场所之间的物流调拨均由调拨卡口进行验放,系统联动了集装箱自动识别系统、CCTV视频监控系统、GPS监控系统等相关系统,形成一个虚拟的电子闭合通道,目前日均调拨量约1100多车次。
蛇口各码头与集中查验场之间、蛇口各大码头之间的调拨业务备案车辆在200部左右,日均调拨量约600车次。“特殊场所之间物流调拨应用的实现,简化了海关转关手续,也加强了对货物流转的监管。”程仰贤说。
此外,盐田、蛇口港还与英国、荷兰开展了智能集装箱的安全智能贸易试点,在集装箱上加装RFID电子标签和电子封志,结合GPS,在集装箱状态发生变化时可将信息传输到货主或海关系统上。

平台动“大手术”实现物联网进阶

深圳海关在物联网应用上走在了前面,可是他们也最先遇到了发展阶段的难题。
“深圳海关物联网应用起步较早,1996年下半年采用瑞典有源射频识别电子标签制作电子车牌,在深圳的皇岗海关,以4条空车通道进行试用,获得了成功。”程仰贤回忆说,“从1999年开始,我们改用美国无源RFID技术研发海关卡口自动核放系统。到现在已经有4方面的应用与物联网相关。”即前文介绍过的公路口岸车辆自动核放系统应用、跨境快速通关应用、电子关锁卡口控制与联网应用、特殊监管场所之间的物流调拨应用。深圳海关当之无愧成为物联网应用的先行者。
然而,“先行者”的烦恼接踵而至。随着物联网传感技术的发展,越来越多的末端传感设备进入深圳海关信息系统,如何让这些设备更好地联动起来仅仅靠原有系统是无法满足要求的,深圳海关技术处软件开发科科长李小绵深有感触:“物联网必须要与业务系统相融合,才能发挥优势。但现在往往新增一个传感功能,就得涉及很多程序改动。多种传感设备的引入,对IT系统架构提出了新的要求,现有的架构是10年前设计的,显然有些过时了。”
在这样的困扰下,深圳海关下决心对系统“动大手术”,采用一种新的OSGI(开放服务网关)框架,它具有标准化、模块化和动态化的特点。OSGI服务平台提供在多种网络设备上无需重启的动态改变构造的功能,为了最小化耦合度和促使这些耦合度可管理,OSGi技术提供了一种面向服务的架构,它能使这些组件动态地发现对方。程仰贤介绍说:“别看系统改造前后,功能是一样的,前台几乎不会有任何感觉,但是后台却是连架构都更新了。”这种“暗度陈仓”的改动,着实给深圳海关技术处出了道难题。
目前深圳海关物联网应用中传感和控制设备种类很多,有十六、七种设备,几十种类型,集成难度可想而知。据李小绵介绍,目前系统正在开发阶段,这是深圳海关承接的署级项目,准备2011年上半年完成开发与测试,下半年部署,届时深圳海关339条通道都将进行切换。今后新增各种物联传感设备时,仅需遵循统一标准即可灵活接入,各种新业务也可以通过热插拔的方式动态增加。“所有的程序都是由深圳海关技术处自己组织、控制开发的,没有外包给别的公司。”程仰贤介绍说,“海关业务特殊,需要自主开发,不依赖于任何一家公司,以保证系统的可靠性和安全性。”如果碰到一些项目实在人手不够,会很有限度地借助一些外面的力量。
在新的历史节点,深圳海关不断完善整合各项业务,优化通关环境,而信息系统在深圳海关的地位已经无法替代了,不断与业务的融合,才能发掘出更加高效的工作方式,助推深圳产业结构不断转型升级,为深圳实现新跨越做出新的更大贡献。

采访手记 要“感”更要“知”

物联网发挥作用,除了传感器感应获取信息外,更重要的是后台的分析系统。这并不是短时间能够见成效的。程仰贤在海关技术处工作了28年,他回忆起自己1982年刚刚来到深圳海关时,都是自己动手用汇编语言写程序,敢于尝鲜、自给自足是深圳海关技术处的特点,所有的系统都是由自己人动手开发,维护,这对于100多人的班子来说并不轻松。而且随着业务系统对信息化的需求越来越大,压力也随之增加。目前除了跟物联网紧密相关的通关类业务外,技术处还开发了政务类系统、风险分析类系统和对外服务类系统。
深圳海关自主研发的智能布控系统就是建立在感知层之上的决策应用。智能布控系统是以风险管理部门建立的风险指标体系为支撑,按照设定的数学模型,对海量历史数据进行风险分析运算,筛选出高风险对象,对卡口自动核放系统直接下达布控指令,被控对象到达卡口时即行报警,由海关人员实施查验,非布控对象则可快速通关。物联网的这种应用,既加强了海关监管,又提高了通关效率。
物联网要真正发挥作用,就不能流于形式,一定得深度融合进业务系统。怎样鉴别物联网是花瓶还是饭碗看看业务数据是否流淌其中,还需要从“感”到“知”的畅通。(文/许泳)

---