在物联网应用系统中使用NoSQL数据库是一个不错的选择,因为NoSQL数据库可以处理海量、多变的数据,并且拥有优秀的横向扩展性。以下是适合物联网应用系统的几种NoSQL数据库类型:
1 文档型数据库:文档型数据库支持存储和查询结构化和非结构化数据,并且能够轻松地存储和检索复杂的数据类型,例如JSON和XML格式。在物联网应用程序中,文档型数据库可以快速存储传感器数据、日志、警报和配置数据等信息。
2 列族型数据库:列族型数据库适用于需要处理大量数据的应用程序,例如数据聚合和时间序列数据分析。在物联网应用程序中,使用列族型数据库可以存储和查询大量时间序列数据,例如传感器读数、状态数据和其他一些深度数据等信息。
3 Key-Value型数据库:Key-Value型数据库是一种简单易用的NoSQL数据库,每个键都关联着一个值。在物联网应用程序中,使用Key-Value型数据库可以存储和查询对象的属性,以及配置数据和元数据等信息。
以上是应用于物联网应用系统中的几种NoSQL数据库类型,也可以根据应用需求和数据类型选择其他适合的NoSQL数据库类型。
1),PostgreSQL是通用型数据库。
PG有着丰富的数据类型(数值、字符、时间、布尔、货币、枚举、网络地址、JSONB等等)和索引类型( B-tree、Hash、GiST、SP-GiST 、GIN 和 BRIN等 )。可以存储和计算大多数场景的业务数据,如 ERP、交易系统、财务系统涉及资金、客户等信息,数据不能丢失且业务逻辑复杂,选择 PostgreSQL 作为数据底层存储,一是可以帮助您在数据一致性前提下提供高可用性,二是可以用简单的编程实现复杂的业务逻辑 。适合各种OLTP和部分OLAP场景。
2),PostgreSQL数据库包含许多第三方插件。
如PostGIS等可以直接在数据库里进行地理位置相关的gis类存储和运算(LBS地理位置相关业务等O2O场景),其他的插件如Pg_stat_statements、uuid-ossp、pg_trgm、btree-gist插件、 pgcrypto加密等插件 。
3),中小型企业快速搭建 数据仓库和数据分析平台(TB级别)
PostgreSQL 提供丰富的数据类型和强大的计算能力,能够帮助您更简单搭建数据库仓库或大数据分析平台,为企业运营加分。
4),冷热分离
针对流水类的大表,PG可以使用分区表,线上保留热数据, 历史 数据存放在分区表里或者OSS等冷数据平台,冷热分离。
5),公有云支持度高如阿里云、腾讯云、华为云等公有云都有对应的RDS-PG产品,开箱即用,并提供技术支持。
OLTP:事务处理是PostgreSQL的本行
OLAP:ANSI SQL兼容,窗口函数,CTE,CUBE等高级分析功能,任意语言写UDF,citus分布式插件
流处理:PipelineDB扩展,Notify-Listen,物化视图,规则系统,灵活的存储过程与函数编写
时序数据:timescaledb时序数据库插件,分区表,BRIN索引
空间数据:PostGIS扩展(杀手锏),内建的几何类型支持,GiST索引。
搜索索引:全文搜索索引足以应对简单场景;丰富的索引类型,支持函数索引,条件索引
NoSQL:JSON,JSONB,XML,HStore原生支持,至NoSQL数据库的外部数据包装器
数据仓库:能平滑迁移至同属Pg生态的GreenPlum,DeepGreen,HAWK等,使用FDW进行ETL
数据采集站工作原理是:利用一种无线模块,传感器,从系统外部采集数据并输入到系统内部的进行数据统计的一个应用系统。
其工作原理是从无线模块和传感器其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到计算机系统中进行分析,处理。
数据采集是为了测量电压,电流,温度,压力,湿度,压力等物理现象而开发出一套应用系统,它基于无线模块,传感器等硬件结合应用软件和计算机,进行测量各种物理现象。
数据采集站的工作方式是:
数据采集的工作方式是将传感器采集到的各种物理现象转换成电讯号通过无线模块传输到计算机中,计算机又将电讯号传换成我们能理解的物理单位。
采集一般是采样方式,隔一段时间对同一点数据进行重复采集。采集的数据大多是瞬时值,也可以是某段时间内的一个特征值。
并且我国是作为世界第一制造大国,工业数据采集领域有着巨大的潜力,随着物联网不断的更新换代,企业也对工业数据采集的实时性,可靠性,专业性有着更加严格的要求。
相比较传统以往的数据采集,现在发工业数据采集逐步在往大数据领域不断的靠近,传统的数据采集来源单一,储存、管理等会显得越来越乏力,工业数据采集采集的发展会向着大数据方向靠拢发展。
目前市场上主要常用的数据库根据数据库应用类型的不同有时候区别。在关系数据库中,Oracle、MySQL/MariaDB、SQL Server、PostgrcSQL、 DB2等数据库应用较广泛。在时序数据库类型中,InfluxDB、RRDtool、Graphite等数据库也较为常见。其他类型数据库可参考 >
上期分享中,我们介绍优炫数据库支持的数据存储方式。
戳: 干货分享 优炫数据库支持多业务场景
本期,我们来讲讲优炫数据库支持的多种数据类型。
基本数据类型存储与管理
优炫数据库拥有完备的数据类型,内置数据类型包括 数字类型、货币类型、字符类型、日期/时间类型、布尔类型、枚举类型、网络地址类型、位串类型、文本搜索类型等, 支持使用 serial 类型创建表自增列。
通常为了加快指定过滤条件下从表中查询数据的速度,可以为表的某个字段或某几个字段建立索引。数据库对基本数据提供多种索引类型:B-tree、Hash、GIN(倒排序索引)和 BRIN(数据库块范围索引)。每一种索引类型使用了一种不同的算法来适应不同类型的查询。 默认情况下, CREATE INDEX命令创建适合于大部分情况的B-tree索引。
XML/JSON数据类型存储与管理
优炫数据库内置半结构化XML、JSON、JSONB数据类型。
xml数据类型可以被用来存储XML数据,它比直接在一个text域中存储XML数据的优势在于,它会检查输入值的结构是不是良好,并且有支持函数用于在其上执行类型安全的 *** 作。xml类型可以存储结构良好(如XML标准所定义)的“文档”,以及“内容”片段,它们由XML标准所定义,这意味着内容片段中可以有多于一个的顶层元素或字符节点。通过表达式来评估一个特定的xml值是一个完整文档或者仅仅是一个文档片段。
JSON类型强制检查数据有效性,使用专门的 *** 作符和内置函数 *** 作数据,保留空格,重复键和顺序等。JSONB是解析输入后保存的二进制数据,删除了数据中的空格、调整了顺序、优化了存储、保留最后一个重复键值,可被索引。和 JSON 一样,JSONB支持嵌入式的文档和数组。JSONB 由若干个键值对存储为单个实体,这种实体称为文档。 JSONB具有以下几个特性:轻量级(Lightweight),可遍历性(Traversable),高效性(Efficient)。 由于所需存储更小,JSONB通常是首选格式。两者区别在于:JSON类型写快读慢,JSONB类型写慢读快,支持SQL/JSON路径语言。此外,数据库支持对这两类数据的全文检索。
GIS空间类型存储与管理
优炫数据库支持GIS的地理信息应用,支持PostGIS、ArcGIS、超图,支持OpenGIS联盟(开放地理信息系统,OGC)抽象数据类型的SQL3规范,提供对地理矢量数据、3D模型、线性参考数据的组织、存储、空间索引和管理。
Geometry(几何对象类型)是优炫数据库的一个基本存储类型, 空间数据都会以Geometry的形式存储在数据库里,本质是个二进制对象。使用OGC推荐的WKT(Well-Known Text)和WKB(Well-Known Binary)格式进行描述,大幅增加了易用性,WKT与WKB基本数据类型(矢量数据)包括:
l 点 (POINT):例如POINT(0 0);
l 线 (LINESTRING):例如LINESTRING(0 0,1 1,1 2)
l 面 (POLYGON多边形):例如POLYGON((0 0,4 0,4 4,0 4,0 0)) 简单多边形,例如POLYGON((0 0,4 0,4 4,0 4,0 0),(1 1, 2 1, 2 2, 1 2,1 1)) 多边形有一个内部的"孔洞(hole)";
l 多点 (MULTIPOINT):例如MULTIPOINT((0 0),(1 2));
l 多线 (MULTILINESTRING):例如MULTILINESTRING((0 0,1 1,1 2),(2 3,3 2,5 4));
l 多面 (MULTIPOLYGON):例如MULTIPOLYGON(((0 0,4 0,4 4,0 4,0 0),(1 1,2 1,2 2,1 2,1 1)), ((-1 -1,-1 -2,-2 -2,-2 -1,-1 -1)));
l 几何集合 (GEOMETRYCOLLECTION):例如GEOMETRYCOLLECTION(POINT(2 3),LINESTRING(2 3,3 4))。
栅格空间数据类型raster用于表示jpeg,tiff,png,DEM模型这样文件格式的数据。每一个栅格至少有1个波段,每个波段又有一系列像素值,栅格数据是转换成地理坐标的。可以从数据库外部导入已有栅格数据,也可在数据库内创建栅格数据。下面是一个在数据库内部创建栅格数据的示例:
拓扑类型和函数用于管理拓扑结构,比如面、边界和点。
创建一个带有栅格记录的栅格列的表可以用下面的SQL完成:
如果创建的栅格不依赖于其他栅格,那么可以使用函数:
ST_MakeEmptyRaster,接着使用ST_AddBand添加栅格数据。也可以使用geometry对象来创建栅格你需要使用函数ST_AsRaster。可能还需要和其他函数比如函数ST_Union 或函数 ST_MapAlgebraFct 或者其他地图代数系列函数联合使用。甚至还有一些根据一些已经存在的栅格表创建新的栅格表的可选函数。例如可以使用函数ST_Transform 根据一个已有的栅格表在其他投影系中创建一个新的栅格表。然后通过下SQL命令创建一个空间索引:
通过空间索引R-Tree实现空间数据查询和 *** 作,R-Tree将数据分解为矩形(rectangle)、子矩形(sub-rectangle)和子-子矩形(sub-sub rectangle)等。它是一种可自动处理可变数据的密度和对象大小的自调优(self-tuning)索引结构。
图数据存储与管理
图数据以图关系这种数据结构存储,把图数据的顶点和边信息存储到关系型数据类型中,这些信息包括:
l 顶点(Vertices):一个实体一个顶点,一个实体可以有多个属性。
l 边(Edges):两个实体之间的连接线。
l 属性:实体和边都可以有多个属性。形象举个例子,一个实体对应关系表中一行记录,一个实体的属性代表关系表中这行记录的所有字段和值构成的键值对。
在优炫数据库中图数据通过关系型数据进行存储,这些数据与图模型中的数据相对应。例如通过下SQL语句建立存储图数据的表:
然后新增加数据,后续就可以根据这些数据进行图相关的计算和分析了。
时序数据存储与管理
时序数据存储和管理,通过把时序数据存储到关系型数据类型中。时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以时点数。时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。
文档//视频类型存储与管理
优炫数据库可存储任意未知具体内容的、声音、视频等非结构化数据,支持 GB 级大对象数据类型与流式数据访问。可借助于数据库图形化管理工具、应用程序、第三方工具等查看这些非结构化数据。根据业务需要也可借助数据库插件读取或识别这些非结构化数据的内容用于数据分析。
优炫数据库支持多种二进制数据类型,包括:Bytea、OID、Blob、raw、Varbinary、Longvarbinary。
自定义数据类型存储与管理
优炫数据库可自定义数据类型、索引、函数等数据库对象。 新增加的数据类型可以是新数据类型,也可以是已知几个数据类型的复合数据类型。
模分析型数据库用户可在数据库中使用CREATE TYPE或CREATE DOMAIN命令增加新的数据类型;可通过自定义函数或存储过程对数据进行各种处理。
CREATE TYPE在当前数据库中注册一种新的数据类型,定义数据类型的用户将成为它的拥有者。五种形式的CREATE TYPE,它们分别创建组合类型、枚举类型、 范围类型、基础类型或者 shell 类型。shell 类型仅仅是一种用于后面要定义的类型的占位符,通过发出一个不带除类型名之外其他参数的CREATE TYPE命令可以创建这种类型。在创建范围类型和基础类型时,需要 shell 类型作为一种向前引用。
CREATE DOMAIN创建一个新的域。 域本质上是一种带有可选约束(在允许的值集合上的限制)的数据类型。域主要被用于把字段上的常用约束抽象到一个单一的位置以便维护。例如,几个表可能都包含电子邮件地址列,而且都要求相同的 CHECK 约束来验证地址的语法。可以为此定义一个域,而不是在每个表上都单独设置一个约束。
1、区块链是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了过去十分钟内所有比特币网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。是比特币的底层技术,像一个数据库账本,记载所有的交易记录。
2、广义定义:利用加密链式结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用自动化脚本代码(智能合约)来变成和 *** 作数据的一种全新的去中心化基础架构与分布式计算范式。
3、狭义定义:按照时间顺序将数据区块以链条的方式组合成特定数据结构,并以密码学方式保证的不可篡改和不可伪造的去中心化共享账户。
4、区块链的特点:去中心化:区块链数据的验证、记账、存储、维护和传输等过程均是基于分布式系统机构,采用纯数学方法而不是中心结构来建立分布式节点间的信任关系,从而形成去中心化的可信任的分布式系统。
5、时序数据:区块链采用带有时间戳的链式区块结构存储数据,从而为数据增加了时间维度,具有极强的可验证性和可追溯性。
6、集体维护:区块链系统采用特定的经济激励机制来保证分布式系统中所以节点均可参与数据区块的验证过程,并通过共识算法来选择特定的节点将新区快添加到区块链。
7、可编程:区块链技术提供灵活的脚本代码系统,支持用户创建高级的智能合约、货币或其他去中心化应用。
8、安全可信:区块链技术采用非对称密码原理对数据进行加密,同时借助分布式系统各节点的工作量证明等共识算法形成的强大算力来抵御外部攻击、保证区块链数据不可篡改和不可伪造,因而具有较高的安全性。
9、区块链应用场景:数字货币:以比特币为代表,本质上是由分布式网络系统生成的数字货币,其发行过程不依赖特定的中心化机构。
进入信息化市场,数据库的重要性日益凸显,目前数据库主要分为数据库产品、数据库服务和数据库支撑体系。我国数据库产品以关系型为主,非关系型数据库以键值型数据库为主。
金融、电信、政务、制造和互联网为我国数据库应用最为广泛的领域,但是它们的应用特点各不相同。未来,在企业崛起、国家利好政策和资本关注等因素推动下,我国数据库行业市场规模有望接近7百亿元。
本文核心数据:数据库产品分布、数据库市场规模
数据库主要分为三大类
在信息化时代,数据库已经逐渐应用于各行各业。数据库主要分为三大类:数据库产品、数据库服务和数据库支撑体系。
数据库产品主要由关系型数据库、非关系型数据库、混合型数据库及数据库周边工具构成。
数据库服务是指围绕数据库的咨询规划、实施部署和运维运营等环节,为数据库系统的正常、高效、持续、安全使用提供信息技术服务工作。
数据库支撑体系由从事数据库学术研究、人才培养、开源社区、评测认证等工作的相关主体共同构成。
数据库产品以关系型为主,非关系型数据库以键值型数据库为主
目前,我国数据库产品主要以关系型为主,非关系型及混合型数据库较少。截止2021年6月,我国关系型数据库共有81个,非关系型数据库共有54个。在非关系型数据库中,键值型数据库占比最高,占非关系型数据库的926%。
五大行业应用较广,应用特点各不相同
在我国,金融、电信、政务、制造和互联网为我国数据库应用最为广泛的领域,但是它们的应用特点各不相同,金融、电信的IT监管环境较为严格、数据业务较为复杂、核心数据业务呈现“强事务”的特点,而对成本敏感度较低。与之相反的是,互联网领域对IT监管环境较弱,但是对成本敏感度较高。
市场规模有望接近7百亿元
虽然目前我国数据库较欧美国家发展规模较小,2020年我国数据库市场规模约占全球数据库市场规模的52%,约为2409亿元。
但是,随着我国浙江智臾、涛思数据等为代表的时序数据库企业不断涌现,同时得到政策政策以及资本关注,我国数据库行业有望迎来新一轮的增长,2025年我国数据库市场规模有望接近7百亿元。
数字时代下,数据规模爆发性增长,数据存储结构越来越灵活多样,推动着数据库技术不断演进,我国数据库产业进入重要发展机遇期。 天翼云积极顺应时代趋势,创新推出 TeleDB 产品, 为企业提供全方位数字化转型解决方案,助力企业上云用数赋智。
TeleDB 是天翼云在数据库领域丰富实践经验和先进技术架构的有机结合, 由天翼云自主研发,具有兼容社区生态、全面国产化适配等核心能力。
历经8年打磨, 目前 TeleDB 已研发核心PaaS技术20余项,获得核心专利技术16项,承载7亿+用户, 稳定性得到全面验证。
TeleDB 数据库采用容器化技术和分布式块存储技术,通过云原生技术改造业务,使得数据库服务器的CPU、内存能够快速扩容,通过动态增减节点提升性能和节省成本,存储空间无需手动配置,实现自动d性伸缩。
面对多元化的业务需求,企业需要服务提供商能够提供横向主流数据库产品和纵向多版本技术服务的全覆盖能力,为此,天翼云还构建了 TeleDB 数据库上云全生态。
在数据库内核方面, TeleDB 采用云原生架构,高度兼容MySQL、PostgreSQL、openGauss、TiDB, 寻求社区深度合作,在强化自身能力的同时反哺社区,提升代码自主可控能力及数据库团队的社区影响力。
TeleDB 是一款兼容开源MySQL协议的企业级智能化关系型数据库引擎,适用于在线事务处理,可为用户提供稳定可靠的企业级数据库服务;
TeleDB 兼容开源PostgreSQL协议,支持SQL规范的完整实现、丰富多样的数据库类型,并高度兼容Oracle语法,集成了一系列管理功能,减轻运维压力;
TeleDB 支持在线事务处理(TP)和在线分析处理(AP),是一款高性能 HTAP 融合型NewSQL数据库引擎,适用于数据规模大、高可用、高吞吐等业务场景。
在建设层面,TeleDB 聚焦掌握数据备份、数据迁移、数据库自动驾驶仓、数据库安全网关等核心生态产品。 支持HBase、文档数据库、时序数据库等NoSQL数据库协议,提供实时分析云服务,适合PB级,千万级QPS的分布式计算应用场景, 是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景的首选数据库。
此外,TeleDB 借助外部生态体系夯实完善交付、实施、运营、维护等过程, 可以实现端到端软硬件深度的整合和优化,提升数据存储效率和访问效率,进一步发挥网络和新介质能力,构建一站式强体验生态体系。
TeleDB 数据库作为中国电信天翼云自主研发的产品,实现数据库基础软件全面自主可控。基于 TeleDB 数据库,解决核心基础软件卡脖子问题,赋能千行百业,满足其多元化的上云需求。未来,天翼云将坚持以创新、高效为目标,为用户提供更安全、更可靠、更智能的云数据库产品和服务,让 TeleDB 成为企业乘云而上的助燃剂。
以上就是关于什么类型的nosql数据库比较适合应用在物联网应用系统中全部的内容,包括:什么类型的nosql数据库比较适合应用在物联网应用系统中、PostgreSQL开源免费企业级数据库用着比较爽的地方有哪些、数据采集站工作原理等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)