物联网解决方案中的大数据处

作者 | 网络大数据

来源 | raincent_com

随着物联网的演变和发展，所有可以想象到的东西(或事物)和产业都将变得更加智能：智能家居和智慧城市、智能制造机械、智能汽车、智能健康等等。无数被授权收集和交换数据的东西正在形成一个全新的网络——物联网——一个可以在云中收集数据、传输数据和完成用户任务的物理对象网络。

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

物联网大数据如何应用

首先，有多种方法可以从物联网大数据中获益：在某些情况下，通过快速分析就足够了，而一些有价值的见解只有在经过深入的数据处理之后才能获得。

实时监测。通过连网设备收集的数据可以用于实时 *** 作：测量家中或办公室的温度、跟踪身体活动(计算步数、监测运动)等;实时监测在医疗保健中被广泛应用(例如，获取心率、测量血压、糖分等);它还成功地应用于制造业(用于控制生产设备)、农业(用于监测牛和作物)和其他行业。

数据分析。在处理物联网生成的大数据时，我们有机会超越监测，并从这些数据中获得有价值的见解：识别趋势，揭示看不见的模式并找到隐藏的信息和相关性。

流程控制和优化。来自传感器的数据提供了额外的上下文情境信息，以揭示影响性能和优化流程的重要问题。

▲交通管理：跟踪不同日期和时间的交通负荷，以制定出针对交通优化的建议，例如，在特定时间段增加公共汽车的数量，看看是否有改观，以及建议引入新的交通信号灯方案和修建新的道路，以减少街道的交通拥堵状况。

▲零售：跟踪超市货架中商品的销售情况，并在商品快卖完之前及时通知工作人员补货。

▲农业：根据传感器的数据，在必要时给作物浇水。

预测性维护。通过连网设备收集的数据可以成为预测风险、主动识别潜在危险状况的可靠来源，例如：

▲医疗保健：监测患者健康状态并识别风险(例如，哪些患者有糖尿病、心脏病发作的风险)，以便及时采取措施。

▲制造业：预测设备故障，以便在故障发生之前及时解决。

还应注意的是，并非所有的物联网解决方案都需要大数据(例如，如果智能家居拥有者要借助智能手机来关灯，则可以在没有大数据的情况下执行此 *** 作)。重要的是要考虑减少处理动态数据的工作量，并避免存储将来没有用处的大量数据。

物联网中的大数据挑战

除非处理大量数据以获取有价值的见解，否则这些数据完全没用。此外，在数据收集、处理和存储方面还有各种挑战。

▲数据可靠性。虽然大数据永远不会100%准确，但在分析数据之前，请务必确保传感器工作正常，并且用于分析的数据质量可靠，且不会因各种因素(例如，机器运行的不利环境、传感器故障)而损坏。

▲要存储哪些数据。连网设备会产生万亿字节的数据，选择存储哪些数据和删除哪些数据是一项艰巨的任务。更重要的是，一些数据的价值还远远没有显现出来，但将来您可能需要这些数据。如果您决定为将来存储数据，那么面临的挑战就是以最小的成本做到这一点。

▲分析深度。一旦并非所有大数据都很重要，就会出现另一个挑战：什么时候快速分析就足够了，什么时候需要进行更深入的分析以带来更多价值。

▲安全。毫无疑问，各个领域的连网事物可以让我们的生活变得更加美好，但与此同时，数据安全也成一个非常重要的问题。网络罪犯可以侵入数据中心和设备，连接到交通系统、发电厂、工厂，并从电信运营商那里窃取个人数据。物联网大数据对于安全专家来说还是一个相对较新的现象，相关经验的缺失会增加安全风险。

物联网解决方案中的大数据处理

在物联网系统中，物联网体系架构的数据处理组件因输入数据的特性、预期结果等而不同。我们已经制定了一些方法来处理物联网解决方案中的大数据。

数据来自与事物相连的传感器。“事物”可以是任何物体：烤箱、汽车、飞机、建筑、工业机器、康复设备等。数据可以是周期性的，也可以是流式的。后者对于实时数据处理和迅速管理事物至关重要。

事物将数据发送到网关，以进行初始数据过滤和预处理，从而减少了传输到下一个物联网系统中的数据量。

边缘分析。在进行深入数据分析之前，有必要进行数据过滤和预处理，以选择某些任务所需的最相关数据。此外，此阶段还可以确保实时分析，以快速识别之前在云中通过深度分析所发现的有用模式。

对于基本协议转换和不同数据协议之间的通信，云网关是必需的。它还支持现场网关和中央物联网服务器之间的数据压缩和安全数据传输。

连网设备生成的数据以其自然格式存储在数据湖中。原始数据通过“流”进入数据湖。数据保存在数据湖中，直到可以用于业务目的。清理过的结构化数据存储在数据仓库中。

机器学习模块根据之前积累的历史数据生成模型。这些模型定期(例如，一个月一次)用新数据流更新。输入的数据被累积并应用于训练和创建新模型。当这些模型经过专家的测试和批准后，控制应用程序就可以使用它们，以响应新的传感器数据发送命令或警报。

总结

物联网产生大量数据，可用于实时监控、分析、流程优化和预测性维护等。然而，应该记住，从各种格式的海量数据中获得有价值的见解并不是一件容易事情：您需要确保传感器工作正常，数据得到安全传输和有效处理。此外，始终存在一个问题：哪些数据值得存储和处理。

尽管存在一些挑战和问题，但应记住，物联网的发展势头强劲，并可以帮助多个行业的企业开辟新的数字机遇。

一、什么是农业物联网？
No1：农业物联网是农业现代化的重要标志
农业物联网的实质是将物联网技术应用于农业生产经营，使其更具有信息化、智能化。农业物联网的实例化应用就是在感知端使用大量的传感设备（如农业环境信息的传感器、图像采集、RFID 等），广泛地采集农业生产、管理、经营等环境的各类信息（如大田种植、设施园艺、畜牧水产养殖、农产品溯源等领域），建立相对统一的数据传输协议与多源的数据格式转换办法，因地制宜交互使用无线传感器网、移动通信网和互联网等传输通道，实现农业信息多尺度、多源有效的传递。最后通过云计算、大数据等多重信息技术的深度融合与处理，通过智能化调控终端实现农业的闭环控制，实现农业的自动化、最优化控制。实际上，物联网是智慧农业的核心。
“农业物联网主要有感知、传输和控制三大作用，”中国农科院信息所所长许世卫解释，“农业物联网不仅能感知水、肥、热、气等外部环境变量，还能感知生物本体，比如对水稻叶片中的各种营养元素的感知。如果感知到水稻叶片中叶绿素含量降低，说明缺氮了，需要添加氮肥，而等到肉眼看到叶片发黄再追肥就晚了。”
No2：农业物联网架构模型
根据计算机网络架构模型的研究方法，国内外将农业物联网架构模型分为感知层、传输层（网络层）、处理与应用层三个层次。
感知层主要包括各类传感器、RFID、RS、GPS以及二维条形码等，采集各类农业相关信息（包括光、温度、湿度、水分、肥力、土壤墒情、土壤电导率、溶解氧、酸碱度和电导率等），实现对“物”的相关信息的识别和采集。传输层是在现有网络基础上，将感知层采集的各类农业相关信息通过有线或无线方式传输到应用层 ；同时，将应用层的控制命令传输到感知层，使感知层的相关设备采取相应动作，比如开关打开或者关闭、释放氧气、增加温度或者湿度以及设备重新定位等。
公共处理平台包括各类中间件以及公共核心处理技术，实现信息技术与行业的深度结合，完成物品信息的沟通、共享、决策、汇总等。
具体的应用服务系统是基于物联构架的农业生产架构模型的最高层，主要包括各类具体的农业生产过程系统，如大田种植系统、设施园艺系统、水产养殖系统、畜禽养殖系统、农产品物流系统等。通过这些系统的具体应用，保证产前正确规划以提高资源利用率，产中精细管理以提高资源利用率，产后高效流通实现安全溯源等多个方面，促进农业的高产、优质、高效、生态、安全。
（转自搜狐科技网）
二、农业物联网未来发展趋势
目前，我国农业正处于传统农业向现代农业转型期，农业物联网将发挥独特而重要的作用，也为现代农业的发展提供了前所未有的机遇。利用智能化信息管理技术发展现代农业已成为当今各个发达国家农业发展的热点之一。
农业物联网发展现状：2013年，农业部发布了《农业物联网区域试验工程工作方案》，方案中明确提出，实施区试工程，对于探索农业物联网理论研究、系统集成、重点领域、发展模式及推进路径，提高农业物联网理论及应用水平，促进农业生产方式转变、农民增收有重要意义。从深层次阐述了物联网技术能够提高农业生产效率，提升农产品附加值，实现农业增产与增收。
在发达国家，智慧农业已进入知识的处理、自动控制的开发以及网络技术的应用，渗透到农业各方面。 据介绍，国外采用物联网相关技术，在温室生产中大量采用无线传感器管理、调控温度湿度、营养液供给以及pH值(氢离子浓度指数)、EC值(可溶性盐含量)等，使设施蔬菜栽培条件达到最适宜水平。
借助物联网技术和云计算技术，在远程支持与服务平台上，建立智慧农业远程托管中心，实现远程栽培指导、远程故障诊断、远程信息监测、远程设备维护等；将植物生长信息和生物技术、食品安全技术相结合，从种植各个环节解决农产品的安全问题；充分利用先进的RFID、物联网、云计算等技术，实现农业生产监测管理和产品安全追溯。目前，这项技术不但达到国际先进水平，而且已推向全国市场，广泛应用于现代农业园区、大型农场、农业专业合作社等，深受用户的认可，取得了较好的成绩。
农业物联网，即在大棚控制系统中，运用物联网系统的温度传感器、湿度传感器、Ph值传感器、光传感器、CO2传感器等设备，检测环境中的温度、相对湿度、Ph值、光照强度、土壤养分、CO2浓度等物理量参数，通过各种仪器仪表实时显示或作为自动控制的参变量参与到自动控制中，保证农作物有一个良好的、适宜的生长环境。远程控制的实现使种植人员在办公室就能对多个大棚的环境进行监测控制。采用无线网络来测量获得作物生长的适宜条件，可以为温室精准调控提供科学依据，达到增产、改善品质、调节生长周期、提高经济效益。
种植业离不开浇水、施肥、打药，农民种地凭经验、靠感觉，他们面朝黄土背朝天的在田里耕作，并把这些经验与方法一代代相传，然而现在瓜果蔬菜该不该浇水，施肥、打药，怎样才能保持精确的浓度，温度、湿度、光照、CO2浓度，如何实行按需供给？这些以往在作物不同生长周期凭经验靠感觉“模糊”处理的问题，在农业物联网面前开始了实时定量的“精确”把关。物联网创造的“种地”模式的出现，已经成为打破传统农业弊端的一种新型农业模式。这种通过物联网技术开启的智慧风暴，让农业实现了“环境可测、生产可控、质量可溯”的目标。确保农产品质量安全，引领现代农业发展。
（转自搜狐网-鑫芯物联）
编辑于 2018-05-26 · 著作权归作者所有
赞同 1
评论
展

物联网就是通过信息传感设备，按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
通俗地讲，物联网就是“物物相连的互联网”，它包含两层含义：
第一，物联网是互联网的延伸和扩展，其核心和基础仍然是互联网；
第二，物联网的用户端不仅包括人，还包括物品，物联网实现了人与物品及物品之间信息的交换和通信。
物联网作为新一代信息技术的高度集成和综合运用，具有渗透性强、带动作用大、综合效益好的特点，是继计算机、互联网、移动通信网之后信息产业发展的又一推动者。

物联网网关功能，协议转换能力，协议从不同的感知网络到接入网的转换，以较低层为标准对数据进行统一封装，好确保不同感知网络的协议可以形成统一的数据和信令;把上层发送的数据包解析为感知层可以识别到信令和控制命令。必须对网关进行统一管理，例如注册管理，权限管理，状态监视等。网关可以实现子网中节点的管理，像获得节点的身份，状态，属性，能源等，与此同时还能够远程实现唤醒，控制，诊断，升级和维护的功能。因为子网的不同技术标准和协议的不同具有的复杂性，所以也让网关的管理具有不同的方式。物联网网关功能，广泛的访问能力，就目前而言，有许多用在了短距离通信的技术标准。国内外也纷纷实行了3GPP，传感器工作组等物联网网关的标准化工作，达到了各种通信技术标准互联互通的效果。总而言之，言而总之，物联网网关作为一个新词汇，物联网网关功能更是与我们的生活息息相关。相信不管是现在还是未来，在物联网的时代它都有自己举足轻重的位子，成为了感知网络和传统通信网络的枢纽，相信它的应用场景也会随之变得更加绚丽多彩。

通过加密来保护物联网传输层能够进一步提高物联网传输层的安全性。
在工业、医疗、运输及其他关键应用中，对物联网应用的依赖程度迅速增加，这极大地改变了安全格局。以往，企业应用普遍拥有随时可用的资源来处理安全算法，但如今企业级物联网应用却饱受威胁日益增多之苦，且其攻击目标是不断扩大的资源受限型物联网设备网络。企业在急于迎接快速涌现的物联网机遇时，部署的物联网设备在功能上往往无法支持基本的安全措施，因此难以保护存储的数据，且无法保证在易受攻击的网络上进行数据和命令交换。所以要通过加密来保护物联网传输层。

---