物联网中如何使用大数据

物联网中如何使用大数据
在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念日益清晰时，一个新的应用浪潮即将到来：人们需要了解在物联网中如何使用大数据。

关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。
物联网与大数据的接触点
简而言之，物联网是连接到互联网的设备网络。这些设备具有内置的传感器，可以生成数据并对外发送，从而可以相互通信，并与分析系统进行通信。
即使对物联网设备仍然很陌生，这个概念已经在人们的生活中找到了方向。设想一个智能家庭，它可以通过调节供暖和空调系统的运行模式来调节温度，可以开启和关闭照明系统，可以发出有关漏水或气体泄漏或外人入侵的信号。最重要的是，智能家居可以在没有户主参与的情况下做到这一点。
物联网业务的一个典型例子是机器监控，使用安装在不同机器部件上的多个传感器。这些传感器将有关温度、振动、压力、润滑等读数发送给分析系统，分析系统对其进行处理并识别一些隐藏的模式和相关性。如果系统识别出读数与某种故障模式相匹配，则会向维护团队发送即时警报。
以下将回答物联网如何与大数据相交的棘手问题。当一些技术正在炒作时，物联网可能是其中之一。实际上，物联网数据是大数据的类型之一，这使得大数据技术堆栈在所有阶段处理物联网数据都是一个很好的（但不是唯一的）选项。对于数据摄取，企业可以使用Apache Kafka，因为该技术支持数据流。Apache Hadoop生态系统是数据存储和处理历史数据的理想选择，而Apache Spark则非常适合近实时数据处理。
大数据使用案例中的物联网数据规则
而人们开始了解制造商所提供的用例。同时，也可以在其他行业了解物联网数据，了解物联网大数据用例。
医疗保健：在医疗保健领域，配戴移动应用技术的可穿戴传感器设备可以实现远程健康监测。该方法的工作原理如下：传感器监测特定患者的状态（心跳、体温、血压、呼吸率等），并将这些数据实时传送到云端，然后传送到应用程序。分析系统不断搜索所有患者物联网数据中的隐藏趋势，并试图找出可能引发并发症的模式。如果物联网的大数据分析显示某些令人担忧的症状，系统会立即向患者和医生发送警报。
零售：知名零售商亚马逊公司最近推出了一个新概念 - Amazon Go。这是一家没有收银员的商店，顾客不必排队等待购物。要进入商店只用扫描他们的智能手机即可。事实上，在这里采用的是物联网和大数据分析技术：商店里遍布传感器和摄像头，顾客在商店中购物，摄像头能够区分其中的每一个人，并且跟踪他们放入购物车或返回货架的所有产品。重量传感器提供了一个额外的控制点：他们可以认识到特定的产品已经不在货架。当顾客完成购物时，他们选择的所有产品都显示在真实和虚拟的篮子中，顾客可以离开商店，系统将在稍后收费。
毫无疑问，Amazon Go是一个有远见的概念。然而，零售业表现出更多脚踏实地的想法，例如智能物流技术，可以跟踪和优化路线，并识别每位卡车司机的行为模式。零售商还使用信标激活访问者的应用程序，并在访问者进入商店并通过信标时，推出相关产品优惠和促销活动。访客会因此感到满意，因为他们收到参加促销活动提供的个性化优惠。同时，信标对商店员工也有帮助，因为它们可以识别需要高质量服务的具有价值的客户。
银行业：银行业也从物联网中受益。银行正在努力获取客户全方位的视角，并提供无缝的客户体验。虽然这一切始于智能手机的积极参与，但物联网进一步扩展至可穿戴设备。例如，美国银行与FitPay公司合作进一步推动可穿戴支付技术。通过这种合作，持卡人将能够直接从他们的智能手表和其他可穿戴设备付款。银行将能够识别客户的行为和偏好。
语结
尽管围绕物联网进行了更多的炒作，但它只是大数据源其中之一。毫无疑问，这是一个有价值的领域，而且正在不断发展。如果企业已经实施了一些大数据解决方案，也许已经处理物联网数据，如果企业正计划采用大数据方案，希望以上描述的用例可以激发一些伟大的想法。

物联网域名就是给目标对象分配一个地址以及容易记忆的中英文名称。例如传统的互联网通过IP地址以及标识名称（Domain Name 域名）来管理网络节点或网络设备。同样，物联网也需要给物品分配地址以及标识名称（按照约定俗成便于理解，也同样可称为域名）现在的物联网域名是全球绝大多数国家包括中国在 内参加的国际ISO(国际标准组织)、ITU(国际电信联盟)组织共同制定并遵守的标准，也是我国国家标准。中国由工业信息化部负责管理。全球的注册量已经达到100，000，000以上，中国的农业部、公安部、国家 密码局，国家卫生计划委员会、供销总社等几千家单位，数百亿物品都已经使用该标准进行联网。
各国服务器也早已开始解析。我国在该领域主导着国际物联网标准，也是中国逐步跻身世界网络强国的标志事件之一。
物联网域名使用规则是：
第一：解析到物联网云服务器上面，
第二：通过物联网浏览器打开物联网域名，
第三：可以通过物联网域名查询物品的相关信息

物联网平台为设备提供安全可靠的连接通信能力，向下连接海量设备，支撑设备数据采集上云；向上提供云端API，指令数据通过API调用下发至设备端，实现远程控制。

物联网平台也提供了其他增值能力，如设备管理、规则引擎、数据分析、边缘计算等，为各类IoT场景和行业开发者赋能。

如下是共享单车基于物联网平台的解决方案。
物联网平台提供边缘计算能力，支持在离设备最近的位置构建边缘计算节点处理设备数据。

在断网或弱网情况下，边缘计算可缓存设备数据，网络恢复后，自动将数据同步至云端。

提供多种业务逻辑的开发和运行框架，包括场景联动、函数计算和流式计算，各框架均支持云端开发、动态部署。

边缘计算能力允许在最靠近设备的地方构建边缘计算节点，过滤清洗设备数据，并将处理后的数据上传至云平台。
物联网应用可广泛应用于：智能生活、智能工业、智能楼宇、环境保护、农业水利、能源监控等环境。计算平台主要涉及：

开发者使用设备接入SDK，将非标设备转换成标准物模型，就近接入网关，从而实现设备的管理和控制。

设备连接到网关后，网关可以实现设备数据的采集、流转、存储、分析和上报设备数据至云端，同时网关提供规则引擎、函数计算引擎，方便场景编排和业务扩展。

设备数据上传云端后，可以结合云功能，如大数据、AI学习等，通过标准API接口，实现更多功能和应用。

物联网 (IoT) 设备必须连接互联网。通过连接到互联网，设备就能相互协作，以及与后端服务协同工作。互联网的基础网络协议是 TCP/IP。MQTT（Message Queue Telemetry Transport，消息队列遥测传输） 是基于 TCP/IP 协议栈而构建的，已成为 IoT 通信的标准。

当前的互联网只限于信息共享，网络则被认为是互联网发展的第三阶段。网络可以构造地区性的网络、企事业内部网络、局域网网络，甚至家庭网络和个人网络。网络的根本特征并不一定是它的规模，而是资源共享，消除资源孤岛。 网络技术具有很大的应用潜力，能同时调动数百万台计算机完成某一个计算任务，能汇集数千科学家之力共同完成同一项科学试验，还可以让分布在各地的人们在虚拟环境中实现面对面交流。 发展历程 网络研究起源于过去十年美国政府资助的高性能计算科研项目。这项研究的目标是将跨地域的多台高性能计算机、大型数据库、大型的科研设备、通信设备、可视化设备和各种传感器等整合成一个巨大的超级计算机系统，以支持科学计算和科学研究。 微软公司把开发力量集中在数据网络上，关注使用网络共享信息，而不是网络的计算能力，这反映了学术和研究领域内的分歧。事实上，很多用于学术领域的网络技术都能够成为商业应用。 Argonne Globus是美国阿贡（Argonne）国家实验室的网络技术研发项目，全美12所大学和研究机构参与了该项目。Globus对资源管理、安全、信息服务及数据管理等网络计算的关键理论进行研究，开发能在各种平台上运行的网络计算工具软件，帮助规划和组建大型的网络试验平台，开发适合大型网络系统运行的大型应用程序。 目前，Globus技术已在美国航天局网络、欧洲数据网络、美国国家技术网络等8个项目中得到应用。2005年8月，美国国际商用机器公司（IBM）宣布投入数十亿美元研发网络计算，与Globus合作开发开放的网络计算标准，并宣称网络的价值不仅仅限于科学计算，商业应用也有很好的前景。网络计算和Globus从开始幕后走到前台，受到前所未有的关注。 中国非常重视发展网络技术，由863计划“高性能计算机及其核心软件”重大专项支持建设的中国国家网络项目在高性能计算机、网络软件、网络环境和应用等方面取得了创新性成果。具有18万亿次聚合计算能力、支持网络研究和网络应用的网络试验床——中国国家网络，已于2005年12月21日正式开通运行。这意味着通过网络技术，中国已能有效整合全国范围内大型计算机的计算资源，形成一个强大的计算平台，帮助科研单位和科技工作者等实现计算资源共享、数据共享和协同合作。 关键技术 网络的关键技术有网络结点、宽带网络系统、资源管理和任务调度工具、应用层的可视化工具。网络结点是网络计算资源的提供者，包括高端服务器、集群系统、MPP系统大型存储设备、数据库等。宽带网络系统是在网络计算环境中，提供高性能通信的必要手段。资源管理和任务调度工具用来解决资源的描述、组织和管理等关键问题。任务调度工具根据当前系统的负载情况，对系统内的任务进行动态调度，提高系统的运行效率。网络计算主要是科学计算，它往往伴随着海量数据。如果把计算结果转换成直观的图形信息，就能帮助研究人员摆脱理解数据的困难。这需要开发能在网络计算中传输和读取，并提供友好用户界面的可视化工具。 研究现状 网络计算通常着眼于大型应用项目，按照Globus技术，大型应用项目应由许多组织协同完成，它们形成一个“虚拟组织”，各组织拥有的计算资源在虚拟组织里共享，协同完成项目。对于共享而言，有价值的不是设备本身而是实体的接口或界面。 从技术角度看，共享是资源或实体间的互 *** 作。Globus技术设定，网络环境下的互 *** 作意味着需要开发一套通用协议，用于描述消息的格式和消息交换的规则。在协议之上则需要开发一系列服务，这与建立在TCP/IP（传输控制协议/网际协议）上的万维网服务原理相同。在服务中先定义应用编程接口，基于这些接口再构建软件开发工具。 Globus网络计算协议建立在网际协议之上，以网际协议中的通信、路由、名字解析等功能为基础。Globus协议分为构造层、连接层、资源层、汇集层和应用层五层。每层都有各自的服务、应用编程接口和软件开发工具、上层协议调用下层协议的服务。网络内的全局应用都需通过协议提供的服务调用 *** 作系统。 构造层功能是向上提供网络中可供共享的资源，是物理或逻辑实体。常用的共享资源包括处理能力、存储系统、目录、网络资源、分布式文件系统、分布式计算机池、计算机集群等。连接层是网络中网络事务处理通信与授权控制的核心协议。构造层提交的各资源间的数据交换都在这一层控制下实现的。各资源间的授权验证、安全控制也在此实现。资源层的作用是对单个资源实施控制，与可用资源进行安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。 汇集层的作用是将资源层提交的受控资源汇集在一起，供虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制，汇集层提供目录服务、资源分配、日程安排、资源代理、资源监测诊断、网络启动、负荷控制、账户管理等多种功能。应用层是网络上用户的应用程序，它先通过各层的应用编程接口调用相应的服务，再通过服务调用网络上的资源来完成任务。应用程序的开发涉及大量库函数。为便于网络应用程序的开发，需要构建支持网络计算的库函数。 目前，Globus体系结构已为一些大型网络所采用。研究人员已经在天气预报、高能物理实验、航空器研究等领域开发了一些基于Globus网络计算的应用程序。虽然这些应用仍属试验性质，但它证明了网络计算可以完成不少超级计算机难以胜任的大型应用任务。可以预见，网络技术将很快掀起下一波互联网浪潮。面对即将到来的第三代互联网应用，很多发达国家都投入了大量研究资金，希望能抓住机遇，掌握未来的命运。 中国也加强了网络方面的投入。中科院计算所为自己的网络起名为“织女星网络”（Vega Grid），目标是具有大规模数据处理、高性能计算、资源共享和提高资源利用率的能力。与国内外其他网络研究项目相比，织女星网络的最大特点是“服务网络”。中国许多行业，如能源、交通、气象、水利、农林、教育、环保等对高性能计算网络即信息网络的需求非常巨大。预计在最近两三年内，就能看到更多的网络技术应用实例。 应用领域 网络技术的应用领域很广，主要有以下几方面。 分布式超级计算 分布式超级计算将分布在不同地点的超级计算机用高速网络连接起来，并用网络中间件软件“粘合”起来，形成比单台超级计算机强大得多的计算平台。 分布式仪器系统 分布式仪器系统使用网络管理分布在各地的贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，方便用户的使用。 数据密集型计算并行计算技术往往是由一些计算密集型应用推动的，特别是一些带有巨大挑战性质的应用，大大促进了对高性能并行体系结构、编程环境、大规模可视化等领域的研究。数据密集型计算的应用比计算密集型的应用多得多，它对应的数据网络更侧重于数据的存储、传输和处理，计算网络则更侧重于计算能力的提高。在这个领域独占鳌头的项目是欧洲核子中心开展的数据网络（DataGrid）项目，其目标是处理2005年建成的大型强子对撞机源源不断产生的PB/s量级实验数据。 远程沉浸 这是一种特殊的网络化虚拟现实环境。它是对现实或历史的逼真反映，对高性能计算结果或数据库可视化。“沉浸”是指人可以完全融入其中：各地的参与者通过网络聚集在同一个虚拟空间里，既可以随意漫游，又可以相互沟通，还可以与虚拟环境交互，使之发生改变。目前，已经开发出几十个远程沉浸应用，包括虚拟历史博物馆、协同学习环境等。远程沉浸可以广泛应用于交互式科学可视化、教育、训练、艺术、娱乐、工业设计、信息可视化等许多领域。 信息集成 网络最初是以集成异构计算平台的身份出现，接着进入分布式海量数据处理领域。信息网络通过统一的信息交换架构和大量的中间件，向用户提供“信息随手可得”式的服务。网络信息集成将更多应用在商业上，分布在世界各地的应用程序和各种信息通过网络能进行无缝融合和沟通，从而形成崭新的商业机会。 信息集成如信息网络、服务网络、知识网络等，是近几年网络流行起来的应用方向。2002年，Globus联盟和IBM在全球网络论坛上发布了开放性网络服务架构及其详细规范，把Globus标准与支持商用的万维网服务标准结合起来。2004年，Globus联盟、IBM和惠普（HP）等又联合发布了新的网络标准草案，把开放性网络服务架构详细规范I转换成6个用于扩展万维网服务的规范，网络服务已与万维网服务彻底融为一体，标志着网络商用化时代的来临。 网络技术的发展，标准是关键。就像TCP/IP协议是因特网的核心一样，构建网络计算也需要对核心——标准协议和服务进行定义。目前，一些标准化团体正在积极行动。迄今为止，网络计算虽还没有正式的标准，但在核心技术上，相关机构与企业已达成一致，由美国阿贡国家实验室与南加州大学信息科学学院合作开发的Globus 计算工具软件已成为网络计算实际的标准，已有12家著名计算机和软件厂商宣布将采用Globus 计算工具软件。作为一种开放架构和开放标准基础设施，Globus 计算工具软件提供了构建网络应用所需的很多基本服务，如安全、资源发现、资源管理、数据访问等。目前所有重大的网络项目都是基于Globus 计算工具软件提供的协议与服务的。 除了标准以外，安全和可管理性、人才的缺乏也是网络计算亟待解决的一个问题，否则它将无法成为企业的商业架构。在真正实现商业应用之前，还需要解决许多问题。即便如此，构建全球网络的前景仍是无法抗拒的。 主要功能 一般来说，计算机网络可以提供以下一些主要功能： 资源共享 网络的出现使资源共享变得很简单，交流的双方可以跨越时空的障碍，随时随地传递信息。 信息传输与集中处理 数据是通过网络传递到服务器中，由服务器集中处理后再回送到终端。 负载均衡与分布处理 负载均衡同样是网络的一大特长。举个典型的例子：一个大型ICP（Internet内容提供商）为了支持更多的用户访问他的网站，在全世界多个地方放置了相同内容的>