物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

物联网时代的大数据策略

互联网时代，PC、Pad、智能手机等设备无处不在，数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据，电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息，海量的数据促进了云计算，分布式技术的发展，而这些技术反过来不仅推动了Web和移动互联网的革新，也推动了物联网的飞速前进。现在，我们正逐渐迈入物联网时代，实现万物互联的愿景，如果说之前人是信息生产的主体，那么或许不久的将来设备将成为主角，它们将源源不断地产生与人相关的衣食住行信息，这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据，应该采用什么样的大数据策略呢？
THINKstrategies 的总经理 Jeff Kaplan 在自己的博文《 当物联网遇见大数据 》中写道：
“你不能使用现在的策略，因为可以被捕获、管理并利用的数据将更加多样化，同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者 创造性的目的 。IT部门的任务就是与业务部门一起工作，完全理解物联网方面的用例，然后寻找满足业务需求的技术。特别是，IT部门必须识别出最优的分析平台和工具，让业务用户能够获取到需要的数据，分析数据的含义并快速地做出响应。”
Gartner公司的副总裁、著名分析师 Joe Skorupa 认为：
“分布在世界各地的物联网设备将产生大量的输入数据，将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势——将应用程序集中起来以便于降低成本并增强安全性——并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中，在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。”
Patrick McFadin则在自己的博文《 物联网：数据都去了哪里？ 》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段：产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。
第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过>

以上是小编为大家分享的关于物联网时代的大数据策略的相关内容，更多信息可以关注环球青藤分享更多干货

说起物联网（Internet of Things， IoT），估计很多人都耳熟能详，因为我们早就在各种各样的媒体中看到过好多次这个名词了。

按照中国传统观点，万物实际上是有着天然的联系的，那么人类为何又要画蛇添足般地再把他们连接起来呢？原因很简单， 万物的天然联系是依靠的自然规律，而人类并不能控制他们，而物联网让万物以人类的意愿进行连接，从而让人类可以控制他们 。物联网，无非是又一个人类征服和控制自然的尝试而已。只要万物能够互联并且通过有效的手段在需要的时候知道他们的状态，从而采用有效的手段进行干预，那么人类就有了对万物的相当程度的控制权。

这给了人们很大的想象空间，因此，也吸引了大量的淘金者，试图分享这样一块看起来巨大无比的蛋糕。 但这么多年来，现实并不乐观。

根据我的了解——可能并不准确——我感觉物联网现在处于一个比较尴尬的阶段。 一方面，物联网的呼声很大，人们寄予很大的期望；但另一方面，市场的反响并不热烈，本来应该跟人们的生活息息相关的物联网，似乎在现实中并没有被人们所感知。我观察到的现实就不很乐观。 算得上物联网的智能家居曲高和寡，国内力推的NB-IoT雷声大雨点小，LoRa使用的主流频段在国内被事实上禁用， Zigbee等覆盖范围过小……

在这里，我想梳理一下物联网在国内发展的现状，以便于更好地定位和找出问题所在。

物联网可以看做是互联网的升级版本，传统的互联网连接的是人；物联网不光连接人，还要连接物，除了人类的互动外，还需要让人能够更好地把控物。 人是自带智能的，所以传统的互联网的重点在于连接，只要有连接，人们就会互动，产生内容等，对网络的智能要求就不高；但物联网连接的是物，物本身不具备智能， 需要通过人来控制或者智能系统来自动控制。

物联网也是近十年来出现频率很高的智慧某某（例如智慧城市，智慧楼宇，智慧园区，智慧安防等）的基础设施。 什么是智慧？我认为就是能够根据某个特定的需求和目标，自主动态调节现有状态的能力 。这需要至少有两个部分构成，一是要有数据分析和处理的“大脑”部分，二是要有数据收集和指令执行的“躯体”部分。 我们往往把狭义的躯体部分作为狭义的物联网， 也可以称为物联网10， 实现了物体的初步连接和数据收集和反馈能力，但这套系统要想实用，实际上离不开人，因为数据的分析和控制指令的下达还是需要人来做；而大脑+躯体才是真正智慧的物联网，在我看来这才是能够给人类带来很大便利的物联网，才具备大范围应用的技术基础， 可以把这称为物联网20。

现阶段的物联网还是停留在由人控制的阶段，也就是10时代，这个阶段对数据的处理存在瓶颈，因此，并不适合复杂的应用，也不适合大范围使用。因此我们可以看到，应用比较广泛的应用也就是那少数的简单应用，如抄表、环境监测、家电控制等。云计算、大数据、机器学习、人工智能等技术是近几年的IT领域的热点，进展也非常迅速，他们的发展为物联网向20阶段进化提供了坚实的基础。

我们日常生活，现有的已经足够很好地满足人们的需求了；物联网，只是人们对更高生活水平的追求的产物，并且不是必需的；对于非必需品来说，要想普及需要足够的性价比或者就索性走高端路线。但从目前的物联网市场看，由于缺少比较成熟的家用物联网方案，因此并不能大规模使用，这导致物联网应用起来成本比较高，在家居中只有高端住宅才可能会使用，占比很少，家居物联网在这种初级阶段必须得要走高端路线，当然这也符合很多新事物的初始状况特征。

物联网在工商业中也有一些应用，例如RFID领域，我们已经可以在一些商店中看到。其他还有很多物联网项目，多数隐藏在智慧某某的名头之下，现阶段，只要是冠以智慧的项目，其造价一般会令人咂舌。 因此，在性价比不高的情况下，人们使用他的积极性自然不高了。

中国运营商去年决定要大力推广NB-IoT，他们试图提升性价比，因此希望设备和解决方案提供商们能够以较低的价格提供相关产品，由于其体量，确实有部分供应商愿意以接近成本价的价格向其提供产品；但即使是这样，愿意使用的用户也不多，这让供应商的积极性大大降低，因为根本就无利可图。也因为此，NB-IoT的这一波推广活动实际上到目前看来是比较失败的。

从连接介质来看，物联网分为有线和无线两种，考虑到实际部署的难度，无线方式显然更有机会会成为主流的连接方式。

从终端和因特网连接关系来看，物联网也可以划分为两种方式：一种是直接和因特网连接，例如NB-IoT、2/3/4G蜂窝网络、eMTC等； 另一种是通过网关间接和因特网连接，例如LoRa、SigFox、ZigBee、BLE、WiFi等。不同的协议都是针对不同的应用场景设计的，因此在实际使用中都有其优缺点。例如我们常用的WiFi，要保证速率和可靠性，因此覆盖距离不够长，连接不可靠； NB-IoT主要用于低速率物联网应用，能够直接联网，但速率低， 用户连接数少； LoRa的覆盖比较广，但速率低，用户连接数也有限制……

因此，实际部署时需要根据不同的应用场景选择不同的技术、标准以及相应的设备，而在现场实施的时候又会有很多意想不到的困难。无线部署也需要做网优等工作，对实施人员的要求比较高。 这些都增大了物联网的部署难度。

由于物联网一般使用无线技术，那么频谱资源就是物联网的一个非常核心的资源。频谱资源时稀缺的，因为有太多的地方需要这类资源。例如我们的移动电话、微波通信、卫星通信、应急通信、无线WiFi等等。这些资源由于其稀缺性，需要统一的规划。而这在不同的国家也面临着不同的状况。

例如现在比较火热的LoRa，阿里巴巴、腾讯等互联网企业刚刚加入该标准联盟，结果国家的新的频谱规划就给予他们致命一击，LoRa所使用的sub-1G的频谱资源实际上是不开放的。

目前在全球，唯一明确的民用频段就是24GHz，也就是WiFi、蓝牙等使用的频段。但这个频段的问题是与低频段的无线电波相比，越障能力比较差，因此覆盖能力不强。而又由于太多的民用无线设备都是用这个频段，导致这个频段的信号比较“脏”，收到的干扰比较大。 现有的使用这个频段的蓝牙、WiFi协议本身也是为了IP宽带连接而设计的，专注于速率，所以也导致覆盖范围一般不超过100米，并且连接数量有着很大的限制。 因此，要想避免频谱资源的政策风险，就只能使用24GHz这个频段 ，那么如何在这样的情况下增加无线覆盖的范围，提升覆盖距离，就是物联网公司需要解决的一个大问题。

比较有实际应用意义的物联网的规模需要达到一定的程度，也就是终端要足够多，很多地方并不具备电源接入的条件，那么就需要终端的功耗要足够低或者索性无源。

无源当然是最佳的方式，目前的解决方案是要加储能电路，但这种电量非常微小，在现有的技术条件下，覆盖范围和传输能力都受到严重的制约，只能适应很少的一部分场景。因此，大多数情况还是需要有源的终端，这就需要功耗尽可能地低了。 功耗问题可能是目前物联网面临的主要问题之一。

例如在智慧停车之类的项目中，有部分方案是用NB-IoT实现的。这个标准由于使用了蜂窝技术，只有运营商具备掌控的能力，所以电信运营商和设备商都非常有热情去推广，也号称一块电池可以用十年，看起来功耗似乎很低，但那是有前提条件的，就是它平时处于睡眠状态，每天主动醒来一次上传一次数据，在这样的情况下才可能坚持十年。 但用于停车就得频频被唤醒，因此在这个场景中使用就非常耗电。根据实际使用的经验，差不多5个月左右就得去更换电池了。这带来极大的维护工作量，而且电池的成本本身也非常高。因此，至少在停车这种方案中，NB-IoT并不是一个好的选择。如果用LoRa呢？在停车中也有应用，表现好一点，能够达到一年多的使用时间而不用换电池。而一般里面模块和芯片的寿命在5年以上，也就是说，在终端设备的生命周期里，需要更换多次电池，每一次更换电池实际上跟新开工一个项目工作量差不多多少。因此，我们不能说这种状况是令人满意的。

所以，如果能够解决有源终端的功耗难题，不光可以大大减轻日后的维护工作量，还可以大大降低终端的成本，这是因为在实际应用中，电池是物联网终端的主要成本之一。

技术本身是没有国界的，但遗憾的是我们并不生存在一个理想的世界里，我们的现实世界依然存在着各种各样的利益群体，有的时候出于自身利益的考虑，作为体现现代竞争力的物联网技术就要受到一些因素的制约。国家就是一个典型的利益群体，而国家安全往往是这个群体的最高利益之一。信息安全是国家安全的一个重要方面，物联网搜集各种各样的信息，这些信息有的时候就是非常机密的情报，不方便被其他利益团体所获知，因此，在物联网标准方面，在一开始就要注意这个方面。

LoRa是美国公司Semtech所提出的一个物联网标准，也是目前比较主流的标准。这个标准对标的是SigFox——一个欧洲的私人公司封闭的物联网标准，但SigFox用自己的标准建了一个覆盖很广的网络，对外运营物联网业务，可以叫做物联网供应商；而LoRa是半开放的标准，允许用户使用这种技术进行模块和终端产品的开发，并用这些产品组建自己的LoRa物联网，虽然相比于市场上主流的其他方案，看起来价格并不贵，但标准、芯片等核心部分过分集中于美国的供应商Semtech上，在特定的时候这就是一个很大的风险。

因此，无论是物联网方案提供商、物联网产品开发商，还是用户，在选择物联网标准的时候要考虑到这个问题。当然，对于小规模的民用应用，采用什么标准问题不大，但对于军用、大规模应用来说，不考虑这个因素将可能让投资全部打水漂。 最近的无线电频谱的一个征求意见的文件就让某国外标准被判了死刑，即使我们最大的两个互联网公司刚刚加入了这个阵营也是无可奈何。

NB-IoT是中国特别是运营商和设备提供商力推的标准，但它的问题在于功耗较高、用户容量有限，所以，在很多场景里并不适合。因此，中国还需要更多的物联网标准，来补充NB-IoT的不足。

经历了互联网、移动互联网，人类正在迈入万物互联、万物智能的世界。5G、IoT、云计算、人工智能成为 社会 关注的对象，数字经济成为政策宣传的重点，各种概念和解释产生，使得当下有很多话题可以讨论。

数字经济背景下，企业竞争最核心的能力是什么。

不同行业发展数据智能的潜力有何不同？

企业如何高效进行物联网应用开发？

企业对云平台的使用体验如何

对于类似问题，阿里云IoT、ICA联盟一直希望与行业人士进行对话。上周，ICA联盟物联网万亿生态伙伴聚合沙龙在杭州举办，活动以“粘合行业碎片，共创IoT基石”为主题，以阿里云IoT云产品为话题，吸引近200名行业人士到场交流。

4位嘉宾依次上台分享

物联网需要化繁为简

物联网产业链很长，覆盖了感知层、网络层、应用层三大层次。它改变了传统的商业运作方式，让商业 社会 变得更加复杂。

首先，物联网让产品变得复杂。增加了传感器、模块等部件，需要进行更多的开发管理。

其次，物联网让需求变得复杂。企业从生产产品变成了提供个性化的服务。

就是这两个变化，让产业体会到很多新的发展痛点。

1 物联网开发过程链路极长，从获客到交付典型过程常常要经历十几个环节。

2 将软件研发、硬件研发、嵌入式研发，云产品的购买，施工/安装/维修费用计算在内，物联网开发成本极高。

3 调查表示目前78%的用户需求为定制化需求，65%的物联网软件需要定制化开发，这导致软件复用性较低。

4 设备联网、用户交互产生海量数据，众多场景亟需数据实时分析、可视化的能力，提升使用效率及用户体验。

新的形势促进了变化的发生，计算力的进步预示着满足更大的信息处理能力，更强的灵活性。

物联网平台在整个产业链中地位，也从当年行业所关注的“要不要上云”，随着企业自身数据资源日渐丰富，应用数据意愿的显著增强，过渡到了“如何高效地上云”。

物联网云平台，由此更直接地承担起IoT产业“基础设施”的角色，为物联网项目的规模化落地减负降压。

阿里云IoT 产品结构

阿里云 IoT 资深产品专家JASON CHEN从各个原子化产品角度，描绘了阿里云IoT的全局样貌。包含物联网 *** 作系统AliOS Things、边缘计算Link Edge、网络管理平台Link WAN、开发平台IoT Studio、物联网设备接入与管理、物联网数据分析、物联网市场Link Market、物联网安全Link Security等功能在内，展现阿里云为各类IoT场景和行业开发者赋能的能力。

将各个基础产品分别阐述，体现出阿里云IoT强化基础设施角色，希望阿里云的产品技术变成合作伙伴解决方案一部分的心态。再次印证阿里云智能总裁张建锋在3月阿里云峰会上所提出的“被集成”口号，阿里云的重要转变已经发生。

以下，我们就将重新认识阿里云IoT云产品。

物模型

阿里云 IoT 技术运营专家薛圆在交流中表示，ICA联盟推出物模型，定义物联网设备模型与属性。通过对任意物联网设备建模，合作伙伴共创设备数据标准模型，确保数据标准的准确性、合理性，实现设备间的互联互通互懂。

类似将拼图碎片整理成更完整的拼图模块，物模型将实现碎片数据结构化、差异模型统一化、烟囱场景联动化、软硬一体标准化的目标，帮助用户缩短开发时间、标准化开发工具。

物联网数据分析

在任何商业活动中，数据都是一种资本，数据分析是可以产生创新收益的手段。

阿里云 IoT 高级产品经理腾春艳在对物联网数据分析产品介绍时表示，阿里云为物联网开发者提供数据分析服务，覆盖了数据存储、清洗、分析及可视化等环节，有效降低数据分析门槛，助力物联网开发。

在空间数据可视化方面，阿里云IoT提供二维、三维空间数据的可视化功能，致力用数据连接真实世界。比如对智能停车场的车场现状、排队数据、收入进行分析；比如定义电子围栏，当物品超出围栏范围时，配置报警；比如在物流追踪、设备管理等物联网低频定位场景下，展示设备轨迹；比如在三维空间可视化需求下，基于阿里云物联网平台构建监控、展示、控制为重点的BIM可视化系统，实现园区、建筑、楼层、房间、设备的逐级可视化。

图：阿里云IoT数据分析产品架构

IoT Studio 物联网应用开发

如前文所述，物联网产业的痛点很多都落在了开发上。阿里云 IoT 产品专家曲文政在演讲中再次阐明IoT Studio作为物联网开发者生产力工具的产品定位与功能。

1 一站式完成云端SaaS 搭建 ：用户可以通过IoT Studio轻松搭建出简单IoT SaaS系统，或构建出部分功能集成在原有的SaaS系统中

2 可视化搭建，降低定制化成本 ：通过可视化搭建、服务编排的方式让一般嵌入式开发者经过简单培训也可以快速搭建出各种物联网应用；

3 提供AI 等高阶能力： 将高阶能力输出给开发者，增加营收，扩展业务边界；

4 后续提供更多解决方案模版： 通过模版的方式给用户提供即刻可用的IoT SaaS解决方案（包含硬件、嵌入式代码、页面/APP、服务）。

整体而言，IoT Studio作为开发工具，向上承接业务需求帮助用户快速搭建SaaS，向下汇聚能力将阿里体系的能力更快更好地输出给用户，是阿里云IoT产品中承上启下的关键一环。

图：IoT Studio 产品架构

结语

在 汽车 行业，定制化需求增多，产品的敏捷规划、全生命周期运维是厂商的关注焦点；在零售行业，企业追求着精准化营销的目标；在农业，看天吃饭需要向精准化种植转变……

未来的各行各业，在面对各种不确定的因素之时，都希望用数据说话，用数据管理、用数据决策。

在这样的产业愿景之中，阿里云IoT将继续践行技术和商业基础设施的角色，覆盖物联网云管边端开发环节，提供满足各类开发者需要的基础产品，助力合作伙伴创新模式，发展商机。

基于Spring Cloud的开源可分布式物联网(IOT)平台,用于快速开发、部署物联设备接入项目,是一整套物联系统解决方案

模块划分，四层架构

 IOT 平台架构

Demo

源码获取源码地址关注后私信回复“iot平台”

---