物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

1: 学习他人经验
企业决策者都听到过有关物联网的炒作，但很多人不知道物联网如何能对业务带来实际影响。因此，企业在考虑部署物联网设备时，应该先花些时间与实际应用物联网的企业进行沟通，了解他们如何利用物联网。
2: 制定战略
每个企业都有独特的需求，并没有适合所有人的物联网项目。在你试验物联网或提交项目申请书之前，应该与企业关键决策者共同制定战略。这有助于确保用户认同物联网项目，还可以确保物联网项目为企业提供最高价值。
3:先实现较容易的目标
你引进的新技术需要快速的高度可见的成功。如果你的企业IoT战略与其他公司已经有着良好记录的IoT项目一致，应该先专注这些项目，因为这些项目相对容易实现和产生结果。此外，如果有的IoT项目可展示“项目部署之前和之后”的数据对比指标，这可以为新的IoT项目奠定基础。
4: 清理你的数据
物联网设备产生的数据或通过互联网传输的数据可能堵塞网络，IoT项目应该确定你想要的IoT数据，还应该确定你想要清除的IoT数据，你可以自己进行数据清理过程，或者外包给供应商
5: 想想你的客户
最佳IoT项目通常专注于客户的需求。这里很好的例子是市政电车系统，该系统现在使用IoT传感器来预测系统设备和跟踪故障，让维修人员可以主动地解决这些问题。这些IoT系统甚至可以在系统故障时发送消息到客户的手机，建议客户改变路线。
6:不要忘记故障转移
对于依赖于稳定IoT数据流的系统，通常都可能面临机器或互联网故障的威胁，导致数据流停止。如果你在使用IoT数据驱动的自动化工作流，特别重要的是，你的故障转移系统需要可以将这些工作流的控制转移到手动模式。
7: 加强安全防范
如果你使用来自互联网的原始物联网数据，这些数据可能给你带来恶意软件、病毒和其他安全威胁。对于考虑使用互联网IoT数据的企业，应该重新评估其安全做法，以确保本地和广域网的安全。
8: 结合IoT数据与现有数据
最大限度地利用物联网的最佳方式是结合内部系统记录中的数据。例如，如果你在收集你网站客户行为的数据，你可以将这些数据结合已有的客户信息，例如客户住在哪里以及其他关键数据。这让你可以更好地了解每个客户及其购买行为和喜好。
9: 设置基线和指标
你的IoT项目应该可以与过去公司业绩基准进行对比，通过这种方式，你可以很容易地展示物联网项目的成效，这可能是收入提高、更好的客户服务、更快的内部 *** 作完成时间、成本节约等。
10: 定义你的下一代IoT应用程序
当你的IoT项目取得阶段性成功时，你应该开始考虑如何应对更多的IoT应用程序。与参与制定战略的业务决策者商讨这个问题可以帮助你的IoT项目向前推进。
最后，你还要有一个符合项目的域名，用于平台的搭建，市场上域名的选择比较多，有com、cn、top，看实际情况选择

通过从传感器、计量器等器件获取环境、资产或者运营状态信息，在进行适当的处理之后，通过传感器传输网关将数据传递出去；同时通过传感器接收网关接收控制指令信息，在本地传递给控制器件达到控制资产、设备及运营的目的

通过公网或者专网以无线或者有线的通信方式将信息、数据与指令在感知与控制层、平台服务层、应用服务层之间传递，主要由运营商提供的各种广域IP通信网络组成，包括ATM、xDSL、光纤等有线网络，以及GPRS、3G、4G、NB-IoT等移动通信网络

物联网平台是物联网网络架构和产业链条中的重要环节，通过它不仅实现对终端设备和资产的“管、控、营”一体化，向下连接感知层，向上面向应用服务提供商提供应用开发能力和统一接口，并为各行各业提供通用的服务能力，如数据路由、数据处理与挖掘、仿真与优化、业务流程和应用整合、通信管理、应用开发、设备维护服务等

丰富的应用是物联网的最终目标，未来基于政府、企业、消费者三类群体将衍生出多样化的物联网应用，创造巨大的社会价值。根据企业业务需要，在平台服务层之上建立相关的物联网应用，例如，城市交通情况的分析与预测，城市资产状态监控与分析，环境状态监控、分析与预警（如风力、雨量、滑坡），健康状况监测与医疗方案建议等

向下接入分散的物联网传感层，汇集传感数据
向上面向应用服务提供商提供应用开发的基础性平台和面向底层网络的统一数据接口，支持具体的基于传感数据的物联网应用

从设备底层到云端应用都由技术人员自行开发，对研发能力和开发时间都是不小的挑战
物联网应用存在共性需求如安全是否可以以云服务的方式提供这些功能？
物联网平台使物联网应用的快速实现成为可能，并从开发难度、功能性能和稳定可靠等多方面提供服务保证

DMP一般集成在整套端到端M2M设备管理解决方案中，解决方案提供商联合合作伙伴一起，提供通信网关、通信模块、传感器、设备管理云平台、设备连接软件，并开放接口给上层应用开发商，提供端到端的解决方案

大部分DMP提供商本身也是通信模组、通信设备提供商，如DiGi，Bosch等，本身拥有连接设备、通信模组、网关等产品和设备管理平台，因此能帮助企业实现设备管理的整套解决方案

一般DMP部署在整套设备管理解决方案中，整体报价收费；也有少量单独提供设备管理云端服务的厂商，每台设备每个月收取一定的运营管理费用

M2M连接数大、SIM卡使用量大、管理工作量大、应用场景复杂、要求灵活的资费套餐、低的ARPU值、对成本管理要求高

包含基础大数据分析服务和机器学习两大功能

未来物联网平台上的机器学习将向人工智能过渡，比如IBM Watson拥有IBM独特的DeepQA系统，结合了神经元系统，模拟人脑思考方式总结出来强大的问答系统，可帮助企业解决更多商业问题

AWS IoT可在连接了Internet的设备（如传感器、制动器、嵌入式微控制器或智能设备）与AWS云之间提供安全的双向通信，并使云中的应用程序能够与连接了Internet的设备进行交互。这样，用户能从多台设备收集遥测数据，然后存储和分析数据；也可以创建应用程序来通过手机或平板电脑控制这些设备

AWS IoT包括设备网关、消息代理、规则引擎、安全和身份服务、Device Shadow服务等组件

平台案例

通过使用AWS的服务，艾拉物联可以无需投资传统数据中心，便可提供企业级服务。在AWS的支持下，艾拉物联将全球的服务都可以整合到一个云平台上，以最小成本开拓了国际业务，使得各地都可以使用同样的开发及运维工具

AWS云服务安全、稳定、可扩展以及全球覆盖的特性加快了涂鸦业务的全球化部署，为保证海外涂鸦客户和合作伙伴能够享受到本地化的服务体验提供了坚强保障

使用AWS云平台给Sengled生迪带来的好处包括简化运维、节省人力成本、节省资源成本，同时可以灵活地扩展应用系统。AWS提供的丰富功能，使运维工程师不必研究学习传统的运维工具和方法，就可以建立起一套完整、可靠的交付系统和运维平台

物联网平台是阿里云针对物联网领域开发人员推出的一款设备管理平台。高性能IoT Hub实现设备与云端稳定通信，全球多节点部署有效降低通信延时，多重防护能力保障设备云端安全。此外，物联网平台还提供丰富的设备管理功能、稳定可靠的数据存储能力，以及规则引擎。使用规则引擎，您仅需在Web上配置简单规则，即可将设备数据转发至阿里云其他产品，获得数据采集、数据计算、数据存储的全栈服务，真正实现物联网应用的灵活快速搭建

平台案例

24小时ATM式自助售药机支持用户线下24h到店扫码付款，当场取货；线上平台下单，骑手限时送达。同时提供完备的商户管理后台，可以进行订单管理、货道管理与财务管理

仓库猫用于解决仓库的科学监测、信息化、网络化管理等问题。可以做到防火监测、防盗监测、防水监测、防潮监测、能够帮助企业快速搭建店铺的监测系统，报警系统，云存储系统

OneNET定位为PaaS服务，即在物联网应用和真实设备之间搭建高效、稳定、安全的应用平台

OneNET包括设备接入、设备管理、API，>