从零开始设计环保监测物联网系统(二)

IOT网关，接收sensor数据的总入口，主要是日志，安全防护，流控，协议转换等功能，

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的，初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 和 安全防护 。

数据接收和转换功能 ，这里很简单，拟定好数据交互格式后，IOT网关按照约定好的格式进行解析，然后转发给后端服务进行进一步的处理

安全防护 ，设备的区分主要是依靠烧录到硬件的SN号来实现，SN号包含的信息比较多，如生产批次，设备型号等，受制于厂商我安全防护不能做的非常完善，同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密，协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话，要考虑设备厂商实现通信模块能力，设备功耗，设备性能（低端设备cpu性能可能比较差，可考虑对称加密形式），IOT网关也需要引入相应模块。

另外认证从性能方面考虑，后期在设备比较多的情况下，可以加入redis等内存型key-value数据库，缓存设备信息，提高鉴权模块性能。

实践中，我们的sensor基本都是依靠电池供电，因此我们的IOT网关基本是面向短链接（后期我们有监测设备，依靠外部电源直接供电，为长连接），因此在每次发起连接我们都要进行一次鉴权，鉴权通过后，设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右，才基本稳定下来，主要集中在设备商处除了硬件稳定性，还有在调试中发现传输的字符串乱码（c语言处理问题），沾包（厂商开发人员tcp协议不熟），优化传输效率，关闭cork或者 Nagle 算法（传输包很小）。

因为IOT网关不能主动断连接，理论 *** 作中，IOT网关应该和sensor有心跳协议，保证连接的有效性。设备商在数据流程交互完成后，竟然没有close 连接，直接休眠，导致网关所在服务器的连接的文件描述符一直没有正常释放，后面为了预防这种现象，我开启了 *** 作系统层面的keepalve定时器，回收失效连接（系统默认时间是2小时左右，我缩短了失效时间），理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计，是无状态，可伸缩的，单网关在普通型ecs上可轻松达到数百tps。

物联网中如何使用大数据
在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念日益清晰时，一个新的应用浪潮即将到来：人们需要了解在物联网中如何使用大数据。

关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。
物联网与大数据的接触点
简而言之，物联网是连接到互联网的设备网络。这些设备具有内置的传感器，可以生成数据并对外发送，从而可以相互通信，并与分析系统进行通信。
即使对物联网设备仍然很陌生，这个概念已经在人们的生活中找到了方向。设想一个智能家庭，它可以通过调节供暖和空调系统的运行模式来调节温度，可以开启和关闭照明系统，可以发出有关漏水或气体泄漏或外人入侵的信号。最重要的是，智能家居可以在没有户主参与的情况下做到这一点。
物联网业务的一个典型例子是机器监控，使用安装在不同机器部件上的多个传感器。这些传感器将有关温度、振动、压力、润滑等读数发送给分析系统，分析系统对其进行处理并识别一些隐藏的模式和相关性。如果系统识别出读数与某种故障模式相匹配，则会向维护团队发送即时警报。
以下将回答物联网如何与大数据相交的棘手问题。当一些技术正在炒作时，物联网可能是其中之一。实际上，物联网数据是大数据的类型之一，这使得大数据技术堆栈在所有阶段处理物联网数据都是一个很好的（但不是唯一的）选项。对于数据摄取，企业可以使用Apache Kafka，因为该技术支持数据流。Apache Hadoop生态系统是数据存储和处理历史数据的理想选择，而Apache Spark则非常适合近实时数据处理。
大数据使用案例中的物联网数据规则
而人们开始了解制造商所提供的用例。同时，也可以在其他行业了解物联网数据，了解物联网大数据用例。
医疗保健：在医疗保健领域，配戴移动应用技术的可穿戴传感器设备可以实现远程健康监测。该方法的工作原理如下：传感器监测特定患者的状态（心跳、体温、血压、呼吸率等），并将这些数据实时传送到云端，然后传送到应用程序。分析系统不断搜索所有患者物联网数据中的隐藏趋势，并试图找出可能引发并发症的模式。如果物联网的大数据分析显示某些令人担忧的症状，系统会立即向患者和医生发送警报。
零售：知名零售商亚马逊公司最近推出了一个新概念 - Amazon Go。这是一家没有收银员的商店，顾客不必排队等待购物。要进入商店只用扫描他们的智能手机即可。事实上，在这里采用的是物联网和大数据分析技术：商店里遍布传感器和摄像头，顾客在商店中购物，摄像头能够区分其中的每一个人，并且跟踪他们放入购物车或返回货架的所有产品。重量传感器提供了一个额外的控制点：他们可以认识到特定的产品已经不在货架。当顾客完成购物时，他们选择的所有产品都显示在真实和虚拟的篮子中，顾客可以离开商店，系统将在稍后收费。
毫无疑问，Amazon Go是一个有远见的概念。然而，零售业表现出更多脚踏实地的想法，例如智能物流技术，可以跟踪和优化路线，并识别每位卡车司机的行为模式。零售商还使用信标激活访问者的应用程序，并在访问者进入商店并通过信标时，推出相关产品优惠和促销活动。访客会因此感到满意，因为他们收到参加促销活动提供的个性化优惠。同时，信标对商店员工也有帮助，因为它们可以识别需要高质量服务的具有价值的客户。
银行业：银行业也从物联网中受益。银行正在努力获取客户全方位的视角，并提供无缝的客户体验。虽然这一切始于智能手机的积极参与，但物联网进一步扩展至可穿戴设备。例如，美国银行与FitPay公司合作进一步推动可穿戴支付技术。通过这种合作，持卡人将能够直接从他们的智能手表和其他可穿戴设备付款。银行将能够识别客户的行为和偏好。
语结
尽管围绕物联网进行了更多的炒作，但它只是大数据源其中之一。毫无疑问，这是一个有价值的领域，而且正在不断发展。如果企业已经实施了一些大数据解决方案，也许已经处理物联网数据，如果企业正计划采用大数据方案，希望以上描述的用例可以激发一些伟大的想法。

平台层：物联网架构中连接设备和应用场景的桥梁，承上启下，提供数据处理及分析服务。

平台层主要以PaaS平台为主，向下通过网络层和感知层，对终端收集到的信息进行处理、分析和优化等，向上服务于应用层，为应用服务商提供应用开发的基础平台。

按照厂商类型区分：运营商、ICT企业、互联网、工业制造厂商和第三方物联网平台；

按照平台功能区分：设备管理平台（DMP）、应用使能平台（AEP）、连接管理平台（CMP）、业务分析平台（BAP）
涉及企业

中国电信：中国电信全面整合了自身的云、网和生态等优势资源，打造了智能物联网开放平台（CTWing）。CTWing 由连接管理、应用使能和垂直服务三大板块构成，全球化、安全可信的端到端服务贯穿始终。

华为云：华为云是华为的云服务品牌，将华为 30 多年在 ICT 领域的技术积累和产品解决方案开放给客户，致力于提供稳定可靠、安全可信、可持续创新的云服务，赋能应用、使能数据、做智能世界的“黑土地”，推进实现“用得起、用得好、用得放心”的普惠 AI。

中国联通：网络通信能力开放业务，旨在将智能化终端、运营商定制化网络资源、移动互联网、物联网等业务进行整合，为用户带来云化部署、一点受理、服务全国、灵活定义的网络能力服务。依托中国联通匠心网络，基于通信服务、网络策略、安全认证、大数据分析、5G 和物联网六大核心能力，其将围绕“物联网平台+”生态战略，打造以物联网平台为核心的业务体系，构建一个覆盖物联网产业链“云管端芯”的生态系统。主要产品包括平台能力、连接服务、物联网解决方案。

诺基亚： IMPACT 提供了一个安全、基于标准的简化 IoT 平台，可在此基础上构建和扩展新的 IoT。IMPACT 平台定位于水平化的物联网基础通用平台，具有连接管理、设备管理、数据采集和分析、应用开放使能以及基于感知的安全保障等功能。诺基亚 IMPACT 物联网平台是全球首个与芯片级深度合作并开放源码的物联网硬件平台，目前诺基亚 IMPACT 平台共管理着全球超过 15 亿部终端。

中国移动：ONEnet 中移物联网有限公司基于物联网技术和产业特点打造的开放平台和生态环境。中国移动物联网开放平台始终秉承开放合作的态度，为智能硬件创客和创业企业提供硬件社区服务，为中小企业客户物联网应用需求提供数据展现、数据分析和应用生成服务，为重点行业领域/大客户提供行业 PaaS 服务和定制化开发服务。

阿里云link平台：阿里云 link 物联网平台为阿里云 IoT 提供的云服务平台。物联网平台提供安全可靠的设备连接通信能力，支持设备数据采集上云，规则引擎流转数据和云端数据下发设备端。此外，也提供方便快捷的设备管理能力，支持物模型定义，数据结构化存储，和远程调试、监控、运维。

百度智能天工：百度智能云天工物联网平台是百度打造的物联网生态环境。百度天工提供通用的物联网设备连接、设备管理、IoT 边缘及数据流转能力，赋能产业应用。以云-边-端及时空数据管理能力为核心优势，提供完善易用的物联网基础设施，为重点行业提供端到端物联网解决方案。京东小京鱼：京东小京鱼面向智能行业全面开放，全面覆盖智能生活场景，赋能智能硬件、智能家居、智能车载等领域，提供“技术+服务+渠道”的一站式智能解决方案。可以通过集成小京鱼让智能产品获得听觉、视觉、学习能力以及音乐、新闻、购物等海量服务，并获得千万级设备控制能力。用户可以通过创新化的交互方式，随时随地获取服务。

小米 IoT 平台：小米面向消费类智能硬件领域的开放合作平台，面向智能家居、智能家电、健康可穿戴、出行车载等领域，开发者借助小米 IoT 平台开放的资源、能力和产品智能化解决方案，能够以极低的成本快速提升产品的智能化水平，满足不同用户对智能产品的使用需求和体验要求，与加入小米 IoT 的其他开发者共同打造极致的智能生活体验。

IBM Watson Iot:全球领先的物联网平台供应商。IBM Watson Iot 提供全面管理的云托管服务，旨在简化并从 IoT 设备中获得价值。其提供对 IoT 设备和数据的强大应用程序访问；执行强大的设备管理 *** 作，同时存储和访问设备数据，连接各种设备和网关设备；使应用程序与已连接的设备、传感器和网关进行通信并收集数据。ThingWorx 平台是专为工业物联网（IIoT）设计的完整端到端技术平台。ThingWorx 平台是通过平台以及基于平台的解决方案，帮助企业实现以研发工艺和产品生命周期管理为主的工业互联和应用。同时，它提供工具和技术，使企业能够快速开发和部署强大的应用程序和增强现实（AR）体验。

浪潮云洲工业互联网平台基于自身在智能制造及 ICT 融合能力的基础上，构建以产业互联为核心，以标识解析为抓手，以云计算、大数据、区块链、5G 等新兴技术为支撑的工业大数据服务体系。浪潮云洲是中国最有客户价值的工业互联网平台，其面向企业、政府、园区三大主体，提供工业云、QID、工业 PaaS、工业大数据、应用服务五层架构服务，实现对设备、产品、业务系统，以及开发者、供应商、客户、员工的七类连接，形成“云、QID、云 ERP”全堆栈能力，致力于工业互联网基础设施建设，打造数字基建下的工业新大陆。

新华三物联网拥有感知层、网络层、平台层、应用层端到端全栈式架构。其中，平台层的新华三绿洲物联网平台，定位为应用使能平台 AEP（Application Enablement Platform）,采用基于容器技术的微服务架构，具备大规模数据处理和分析能力，能够提供物联网泛在连接技术、多协议定位服务、边缘计算和 SDK（软件开发工具包）等模块。

中国通服是中国信息化领域的领先服务提供商，提供电信基础设施服务、业务流程外包服务、通用设施管等服务。2006 年 12 月 8 日，公司发行的 H 股在香港联交所主板成功上市。通服物联是由中国通信服务股份有限公司倾力打造的集团级产品，定位“新一代数字世界基础设施服务商”，聚焦 IoT 服务，使能 IoT 创新。产品包含开发服务平台、设备运营服务平台、服务云和维护云。通服物联提供在智慧城市、工业互联网、智慧家庭、智慧园区等众多领域一系优质产品及解决方案。

海尔卡奥斯物联生态科技有限司立于 2017 年 4 月，主要运营和工业互联平台，其业务涵盖工业互网平建设和营，工业智能技术究和应用，智能厂建设及软件集成服务（精密模、智能装备和智能控制）、能源理业务板块，助力中企业实大规模制造大规模定制开级快速型，始终秉承国家工业互联平的命，为用户、企业和资源创造和分享价值，创引全球工业互联网态品牌。

树根互联股份有限公司是国家级跨行业跨领域工业互联网平台企业，也是连续两年、唯一入选 Gartner IIoT 魔力象限的中国工业互联网平台企业。树根互联旗下的根云平台可以面向机器制造商、设备使用者、政府监管部门等社会组织，在智能制造透明工厂管理，机器在线管理（服务、智造、研发、能源）、产业链平台、工业 AI、设备融资等方面提供数字化转型服务。

xIn3Plat（宝信软件）：2020 年 12 月 22 日，中国宝武及宝信软件推出中国宝武工业互联网平台 xIn3Plat。xIn3Plat 由宝信软件自主研发，依托于宝信软件 40 余年的发展积淀，从钢铁起步腾飞，并持续赋能非钢行业，在促进中国制造企业发展方式转变等方面作出突出贡献。xIn3Plat 包含面向工业领域的工业互联平台 iPlat 和面向产业领域的产业生态平台 ePlat。

航天云网是中国航天科工集团有限公司联合所属单位共同出资成立的高科技互联网企业，成立于 2015 年 6 月 15 日。基于 INDICS 平台面向航天科工打造了专有云，面向国内市场打造了航天云网，面向国际市场打造了国际云，为政府、行业组织、企业等用户提供基于“互联网+智能制造”的二十类服务。

Predix（GE 通用电气）：工业互联网 *** 作系统 Predix 正在为数字工业企业提供强大助力，进而推动全球经济的发展。通过连接工业设备、分析数据和提供实时见解，Predix 在工业应用的构建、部署与运营方面向客户提供所需项目。基于 Predix 的应用程序，GE 和非 GE 资产的性能正在不断提升至全新的水平。

MindSphere 是西门子推出的一种基于云的开放式物联网 *** 作系统，它可将产品、工厂、系统和机器设备连接在一起，使您能够通过高级分析功能来驾驭物联网(IoT)产生的海量数据。

研华科技：创立于 1983 年，是全球领先、值得信赖的创新型嵌入式、自动化产品解决方案提供商，提供包括完整的系统集成、硬件、软件、以客户为中心的设计服务和全球物流支持等。研华 WISE-PaaS 工业物联网云平台，是一个集成的物联网服务平台，旨在从边缘到云端提供可 *** 作的洞察力。用户能够轻松安全地连接，管理和吸收大规模的物联网数据，实时处理和分析/可视化数据。

小匠物联平台是智能家居品牌提供智能化解决方案的服务商。小匠物联可助力传统企业快速接入物联网，提供全球化基于云端的设备远程控制和管理，可靠安全地将您的产品连接到物联网。致力于为智能家电企业和企业健身器材厂商提供完整的产品智能化物联网整体解决方案。小匠物联的模式，主要分为两个部分，一个是 SAAS，另一个是其自主研发的 QUMIOS。

云智易智慧物联作为全国领先的智慧空间物联网科技企业，属于物联网平台层的平台服务提供商，为泛不动产行业提供智慧家居、智慧社区和产业园区/商业、智慧办公、智慧公寓等多场景的智慧物联解决方案，包括物联网平台、应用中台、物联网 SaaS 服务、X-Brain AI盒子和物联网咨询服务等。

广云物联是一家专业物联网解决方案商，致力于为企业提供物联网软硬件开发服务。 包括行业主流物联网平台接入服务，企业私有物联网平台开发服务，物联网硬件二次开发、技术支持、销售供应等服务。产品包含消费物联网、商业物联网、工业互联网的平台和解决方案以及物联网硬件。机智云是国内领先物联网厂商，公司 2005 年创立，主营业务为物联网开发和云服务平台服务。聚焦物联网、云计算、大数据和人工智能产业，采用微服务架构，为需要 IoT 需求的企业提供 IoT 产品全生命周期管理运营系统，涵盖设备管理、连接管理、应用开发、数据分析、BI 系统、智能决策、金融计费与第三方系统互联等功能，同时平台开放 API 接口，帮助企业打通内外部经营管理系统（CRM、ERP 等），已服务交通物流、新能源、工业互联、医疗健康、消费电子等众多行业，并在多个行业实现市场覆盖率领先。主要有两条产品服务线，分别为终端产品智能化服务和行业解决方案服务。

Walle物联网平台（深圳宏电）

KySCADA（东土科技）

HanClounds工业互联网平台（瀚云科技）

H-IIP（忽米网）

寄云科技

科远智慧

蘑菇物联

浙江蓝卓

Tn工业互联网平台（中之杰）

达闼科技（全球首家云端机器人运营商）

第四范式（人工平台与技术服务提供商）

旷视科技（深度学习，全球领先的人工智能产品和解决方案公司）

明略科技（全球企业级数据分析和组织智能服务平台）

深兰科技（快速成长的人工智能领先企业）

思必驰（对话式人工智能平台公司）

搜狗

腾讯优图（腾讯旗下顶级的机器学习研发团队）

依图科技（人工智能创新型研究）

云从科技（更高效的人机协同解决方案提供商）

---