物联网时代,大量的数据从不同的设备传感器产生,单机数据库系统肯定无法存储这么大量的数据,在选择数据库方面,肯定要选择具有分布式能力存储的数据库。
在物联网时代,数据之间还有一个非常重要的特性,那就是数据之间的关联性。不同的数据从相互连接的互联网设备传感器中产生,由于不同的传感器相互连接,协同工作和采集数据,如何将大量具有相互关联的数据保存在数据库,这里我推荐使用图数据库来进行存储。
图数据库相对于其他数据库来说,最大的优势就是查询数据之间的关联性会更加快速,消耗的时间会更短。打个比方,在社交网络中,我们想要查询在用户A的粉丝中,粉丝关注了B的用户。如果使用传统关系型数据库来存储用户的关注关系,在上面的数据统计中,要使用两层Join才能算出结果,而关系型数据库Join *** 作会很慢。使用图型数据库存储数据的话,图中的点为用户,边为用户的关注关系,在查询A的粉丝,同时粉丝也关注B的用户,只需要遍历两层关注关系就能很快查询到结果。
图数据库也属于NoSql数据库的一种,常用的图形数据库有,JanusGraph、Neo4j、Cayley、dgraph。不同的图数据库,底层实现也不尽相同。
JanusGraph是一种分布式图数据库,由Java语言开发,可以使用Hadoop生态存储系统作为数据源,构建出数据大图。是TiTan图数据库的开源版本,支持事务的ACID。
Neo4j是一种单机的图数据库,其优势就是能够快速安装并且使用,便于新同学上手。你的数据量一般不大的话,我推荐使用Neo4j,直接使用Neo4j相关的API就可以将数据模型图构建而出,然后使用Neo4jCypher查询语言,就可以分析数据,Cypher是一种类SQL的语言。
Cayley和Dgraph都是使用Go语言实现的图数据库,Go语言的最大特性就是其编译速度和开发便捷性,Cayley和Dgraph都支持分布式存储,不过都不支持SQL语言查询数据,Dgraph不支持事务,而Cayley支持事务,不过在开源社区,Dgraph比Cayley更加活跃,这里优先建议使用Dgraph作为物联网的存储数据库。
总体来说,在物联网时代,一定要学会使用图数据库,在分析大量数据之间的关联性时,图数据库就能够派上用场,图数据库最大的优势就是分析不同数据之间的关联性。
1什么是物联网
物联网就是利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化、远程管理控制和智能化的网络。物联网其实就是互联网的延伸,它包括互联网及互联网上所有的资源,兼容互联网所有的应用,但物联网中所有的元素都是个性化和私有化。
物联网的影响
物联网成熟之后,真正实现了万物互联,即“人与人、人与物、物与物”互联,世间一切都连接起来。物联网使得连接起来的终端呈指数级增长,产生的数据也会呈指数级增长。物联网必将是下一个推动世界高速发展的“重要生产力”,一方面可以提高经济效益,很大基础上节约成本;另一方面可以为全球经济的复苏提供技术动力,将是继通信网之后的另一个万亿级市场。
把物联网用人体做一个简单比喻,传感器相当于人的眼睛、鼻子、皮肤等感官,网络就是神经系统用来传递信息,嵌入式系统则是人的大脑,在接收到信息后要进行分类处理。
2什么是区块链
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法。
区块链的特点
广义上来讲,区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和 *** 作数据的一种全新的分布式基础架构与计算范式。
区块链采取分布式数据存储、点对点传输、共识机制、加密算法等技术,具有去中心化、开放性、自治性、不可篡改性、匿名性等特点,能够有效地在不同节点之间建立信任、获取权益。
区块链的应用
区块链最早的应用是数字货币,比特币是最具有典型代表,目前1比特币的价格已经超过40000人民币,其他的还有litecoin、dogecoin、dashcoin等等。
目前,区块链应用最广的是金融领域,此外还在智能合约、证券交易、电子商务、物联网、社交通讯、文件存储、存在性证明、身份验证、股权众筹、版权保护等领域有广泛应用。
3什么是大数据
其实简单的来说,大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。
大数据的特征
大数据是指以服务于决策为目的,需要新型数据处理模式才能对其内容进行采集、存储、管理和分析的海量、高增长率和多样化的信息资本。
大数据具有如下本质特征:
1根本目的是服务于决策,大数据能够帮助各类组织和个人大幅度提升决策能力,做出更好的决策和判断;
2量度大,大数据通常是指100T以上的数据量,这难以依靠传统的计算手段有效计算,而必须依靠新的计算手段和数据挖掘工具;
3频率高,大数据是用户参与与互动而产生的数据,根据用户的网络痕迹来及时地了解用户的相关数据,这种数据是按照天甚至小时来计的高频数据。而传统的数据频率都很低,很多数据是按照月甚至按照年份来计算的;
4速度快,大数据是实时性的数据,能够实时反应。例如,在百度搜索框输入一个关键词,能够瞬间呈现,而传统的数据收集方式则是严重滞后的;
5永远在线。在线是大数据的前提条件,从这个角度来说,大数据是永远在线的,能够随时被调用的。大数据通过分析各种网络终端上的用户痕迹,能够更好地分析用户的行为、情感、思想、爱好与需求,来更好地进行决策和分析。
大数据的三大关键点
首先,数据的可获得度。目前在国内,大数据的发展严重受制于政府信息的公开性不够,很多数据难以获得,导致难以实现真正的大数据挖掘和分析,这就要求政府及时开放更多的数据,以提高数据的可获得度。
其次,进行科学的模型建构。模型的科学性直接决定着数据分析的质量,这就要求有高超的建模水平,当然数据量越多也有助于模型的合理构建。
第三,利用专家对观点进行提炼。为决策提供依据的基于数据挖掘的独到、高质量的观点,高度依赖于高质量的数据解释,这就体现了行业专家的价值。
物联传媒提供
1 物联网的标准体系2 急需的物联网总体标准
3 传感器标准
4 传感器标准
5 传感器标准进展情况
6 传感器标准体系框架
认知感知层
1.感知层的概念
物联网层次结构分为三层,分别为感知层、网络层、应用层。感知层位于最 底层,它是物联网的核心,其功能为“感知”,即通过传感网络获取环境信息。 感知层是物联网的核心,是信息采集的关键部分。
2.感知层的应用
感知层包括二维码标签及识读器、RFID 标签及读写器、摄像头、GPS 导航、 各种功能传感器、M2M 终端、传感器网关等,主要功能是识别物体、采集信息, 与人体结构中皮肤和五官的作用类似。
3.感知层的关键技术
(1) 传感器:传感器是物联网中获得信息的主要设备,它利用各种机制把被 测量转换为电信号,然后由相应信号处理装置进行处理,并产生响应动作。 (2)RFID:它的全称为 Radio Frequency Identification,即射频识别, 又称为电子标签。RFID 是一种非接触式的自动识别技术,可以通过无线电讯号 识别特定目标并读写相关数据。它主要用来为物联网中的各物品建立唯一的身份 标示。
(3)无线传感网络:它的英文名称为 Wireless Sensor Network,简称 WSN。 传感器网络是一种由传感器节点组成网络,其中每个传感器节点都具有传感器、 微处理器和通信单元。节点间通过通信网络组成传感器网络,共同协作来感知和 采集环境或物体的准确信息。它是目前发展迅速,应用最广的传感器网络。
认知网络层
1 网络层的概念
网络层位于物联网三层结构中的第二层,它功能是通过通信网络进行信息传 输。网络层作为纽带连接着感知层和应用层,它由各种私有网络、互联网、有线 和无线通信网等组成,相当于人的神经中枢系统,负责将感知层获取的信息,安 全可靠地传输到应用层,然后根据不同的应用需求进行信息处理。
2 网络层的组成
物联网网络层包含接入网和传输网,分别实现接入功能和传输功能。传输网 由公网与专网组成,典型传输网络包括电信网、广电网、互联网。接入网包括光 纤接入、无线接入、以太网接入、卫星接入等各类接入方式,实现底层的传感器 网络、RFID 网络最后一公里的接入。
3 网络层的主要技术
物联网用到的通信技术主要包括 3G/4G 通信、IPv6、WI-FI 和 WIMAX、蓝牙、 ZigBee 自组网技术等。正在向更快的传输速率,更宽的传输宽带、更高的频谱 利用率、更智能化的接入和网络管理发展。
认知应用层
1 应用层的概念
应用层位于物联网三层结构中的最顶层,它的功能是通过云计算等计算平台 进行信息处理。应用层与最低端的感知层一起,是物联网的显著特征和核心所在, 应用层可以对感知层采集数据进行计算、处理和知识挖掘,从而实现对物理世界 的实时控制、精确管理和科学决策。
2 应用层的技术
(1)物联网应用:它是用户直接使用的各种应用,通常用应用软件的形式 表现。如智能 *** 控、安防、电力抄表、远程医疗、智能农业等。
(2)物联网中间件:物联网中间件是一种独立的系统软件或服务程序,将 各种可以公用的能力进行统一封装,提供给物联网应用使用。
(3)云计算:它对物联网海量数据的存储和分析。根据服务类型不同将云 计算分为:基础架构即服务(IaaS)、平台即服务(PaaS)、服务和软件即服务(SaaS)。
3 应用层与其他两层的关系 感知层将采集到的数据通过网络层传递给应用层,应用层将接收到的数据进 行分析管理,再将这些数据根据各行各业的应用做出反应处理。例如,在智能电 网中的远程电力抄表应用:安置于用户家中的读表器上显示感知层中的传感器采 集到的数据,通过网络层将数据发送并汇总到发电厂的处理器上,该处理器及其 对应工作就属于应用层,它将完成对用户用电信息的分析,并自动采取相关措施。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)