物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

2019年全球ICT产业关键字，聚焦「智慧、速度与创新」。创新技术如人工智慧、延展实境（XR）、区块链、数位分身（DigitalTwin）持续出笼，尤其人工智慧加速晶片及量子电脑的发展，伴随5G商转，势必带动产业跳跃式前进。既然聚焦「虚实整合、运算科技、人机互动」三大主轴，2019年COMPUTEX，全球IP矽智财授权领导厂Arm受邀出席《COMPUTEX论坛》、《InnoVEX论坛》主题演讲。Arm在COMPUTEX揭示全面运算(TotalCompute)主张，为5G时代提供更符合更多使用情境(usecase)的整体运算方案，并展现强大生态系能量。

Arm在COMPUTEX2019有哪些亮点展示？瘾科技带你浏览四大解决方案 亮点一：物联网平台

回应Arm的目标在2035年打造达一兆台连网装置，为了让连网装置深度沟通，Arm针对IoT平台的生态系，近年接续推出「DesignStart」、「Pelion」及「Neoverse」等相关计画。今年COMPUTEX，Arm展示Pelion这项混合环境的端到端联网连接、装置和资料管理平台方案。Pelion特色在于建构3A情境，「任何装置、任何资料、任何云端」（Anvice,Anydata,Anycloud），管理任何种类的连网装置与连接，应付任何内外部不同类型的资料，连接任何公有、私有及混合云端。

换言之，Pelion平台让企业在安全环境下，管理各项物联网装置，无限制连结任何规模的资料。COMPUTEX也展示，Arm收购TreasureData后，借助巨量资料技术能力，Pelion平台对资料流程进行融合，让企业用户以高效、更安全的技术部署、连接和更新连网装置，顺利走入物联网的资料世界。

亮点二：AI机器学习

联网装置与数据资料爆发成长，人工智慧的机器学习应用，逐渐从云端转移至终端。为了把机器学习技术放在边缘装置发挥所长，Arm针对机器学习的晶片应用进而打造全新处理器。延续Arm在CPU具备的可编程优势，以及GPU数据处理压缩能力和高吞吐量的设计特点，将其整合至机器学习晶片设计之中。针对机器学习热潮，Arm推出「ProjectTrillium」机器学习运算平台支持各种AI应用程序，在功能性与可扩展性方面，能实现更快机器学习效率。根据统计，目前ProjectTrillium平台的学习数据吞吐量，比起过去CPU、GPU协同作业的机器学习效率，已经达2~4倍以上，效能也优于传统DSP的可编程逻辑。

换言之，ProjectTrillium是一个异质的ML运算平台，平台架构包括ArmML处理器、开放原始码ArmNN软体框架，目前搭载于超过25亿台Android装置。Arm针对ML处理器进行强化，包括超过两倍能源效率，达到每瓦5兆次运算(TOPs/W)、记忆体压缩技术提升达三倍，以及提升至高达八核心的次世代峰值效能，与每秒最高32兆次运算(TOP/s)。

随着机器学习需求愈来愈高，开发人员更渴望利用系统上专属神经处理器(NPU)的优势。Arm机器学习ML处理器提供同级最优化的能耗效率，并有强大的软体生态系统支援，让整个生态系统的AI效能极大化。

▲Arm示范如何在装置上快速的执行机器学习功能，挑战人的记忆，和装置相比，看谁能先辨出不同的图像。

亮点三：AR/VR装置

前几年开始流行的AR、VR装置，过去最大挑战来自虚拟视觉的稳定度。对此，Arm因应5G科技演进推出多款全新高阶IP套件，其中Mali-D77DPU显示器即是聚焦扩增实境、虚拟实境所需的内容所打造，让虚拟实境更加真实。Mali-D77是Mali-D71显示处理器更新版，最高可对应3K解析度与120fps更新率，虚拟视觉影像得以更稳定呈现。全新的硬体功能，加速头戴式显示器的虚拟实境运算，实现更小、更轻、更舒适的VR装置部署。

▲在COMPUTEX展示OculusQuest的VR头盔，提供高效能、无线，摆脱传统VR装置需要连接线的牵绊，创造VR装置新体验。

当然，使用者对AR、VR装置的期待除了影像稳定，在沉浸式体验方面，还包含更轻量、不受线材影响以及更顺畅的效能。Mali-D77其他功能表现在镜头失真校正（LensDistortionCorrection）、色差校正（ChromaticAberrationCorrection）、非同步时间扭曲（AsynchronousTimewarp），对应更清晰、更真实影像，还能降低配戴者头晕情况。除此之外，Mali-D77显示处理器IP，3K120虚拟实境效能，硬体节省VR作业负载4成以上系统频宽，以及12%功耗表现。Arm表示，为了让VR更为普及，在全球达到数十亿台装置的长期目标，Mali-D77解决现阶段显示技术的挑战，为VR产业迎向下一个新世代。

亮点四：车用

Arm在今年COMPUTEX展示的第四个亮点，聚焦在汽车应用。Arm在车用方面扮演重要角色，因其牵涉稳定与安全，尤其ADAS与自动驾驶需要顾虑的层级更是重要。对此，Arm针对车载安全推出ArmSafetyReady计画，同时也包括针对自驾车的7nm制程最佳化处理器架构Cortex-A76AE，借由整合Split-Lock提供车载所需的安全性。

换言之，ArmSafetyready车用安全计画涵盖Arm既有、新型与未来的全方位车载计画，从系统性流程到研发，且通过ISO26262与IEC61508标准，一站式提供软体、元件、工具、认证及标准等资源，确保加入此计画的合作伙伴其SoC与系统，皆达到最高安全层级。

今年COMPUTEX也展示基于Arm的DMS（DriverMonitoringSystem）驾驶监控系统产品。DMS是采用ArmCortex-A7所支援的深度学习NN模型，由TEEAILab所开发。这套DMS系统展示在CortexA7上运行AI/ML以实现驱动程序状态监视功能。例如针对驾驶员闭眼、打哈欠侧视、俯视、打电话和吸烟等行为进行迅速检测，并发出音频以提醒驾驶。Arm在智慧驾驶领域，也展开AutomotiveEnhancedforFunctionalSafety计画，将推出首款多情绪执行处理器，以强化新世代安全驾驶体验。

▲COMPUTEX展会上也展示Arm在智慧驾驶领域的成果(图右)，情绪执行处理器问世将有助驾驶安全。

聚焦未来世界，打造创新体验

Arm在COMPUTEX2019展会中，展现新世代运算领域的创新技术与相关应用。除了上述相关亮点，也聚焦面向未来2030年的使用情境。Arm拥有全面软体开发框架，包含ArmIP、ArmNN、ArmComputeLibrary及ArmDevelopmentStudios，透过生态系统合作帮助开发人员更快采用、更快上市，透过机器学习软体优化，有效扩展硬体效能。

想像未来的世界，5G传输、机器学习、终端运算可能已经成为我们生活的日常，而产业之间将呈现万物联网的庞大生态系。对此，Arm将持续展现其领先技术优势，携手物联网超级战队掌握下一波科技浪潮。

---