数据库的数据存储介质有哪些,优劣各是什么

数据库的数据存储介质有哪些,优劣各是什么,第1张

大致分为内存存储及磁盘存储,内存读取快但价格贵߅磁盘更经济但速度较慢。所以如何平衡数据存储介质在不同场景(以及时间)下的应用很重要。AntDB数据库,一款在通信行业得到充分使用的业内领先的国产数据库,帮助客户进行OLTP 与OLAP一站式处理的数据库产品,具备丰富配套工具和完整服务体系。

AntDB是一个双引擎数据库,用户可以根据自己的业务场景,选择使用全内存存储引擎、全磁盘存储引擎或者内存存储引擎与磁盘存储引擎混用,通过AntDB的双引擎能力,用户可以更好的平衡性能和总体拥有成本依托多年的技术研发成果与成熟交付经验,提供面向多行业、多场景的一站式数据库产品、工具及服务的综合解决方案。AntDB 在全国 24 个省市的 200 多个项目上成功落地,支撑全国 10 亿电信用户的通话、上网、缴费、账单等海量业务数据交互。

1970 年,关系型数据库之父 EFCodd 发表《用于大型共享数据库的关系数据模型》论文,正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头,随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ,和以 Amazon RDS 等为代表的云数据库,拉开百花齐放的数据库新序幕。

我们知道,云计算十年为产业转型升级提供了 历史 性契机,但变革仍在进行,随着云计算的普及,数据库市场发生根本性改变,云厂商打破传统商业数据库的堡垒,成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表,我们一起探讨:为什么亚马逊云 科技 能始终保持其创新性?纵观云原生时代下,亚马逊云 科技 数据库未来还有哪些更多的可能性?

01 面对四大数据库发展趋势,亚马逊云 科技 打造五大数据库理念

后疫情时代下,加速了不少行业的业务在线化和数字化运营,企业对数据价值挖掘的需求越发强烈,亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势:

一是伴随互联网、移动互联网的发展,电商、视频、社交、出行等新应用场景的兴起,不仅数据量大,对数据实时性要求极高,传统关系型数据库无法满足需求,因此驱动云原生数据库的出现。

二是开源数据库的广泛应用。

三是应用程序现代化对数据库提出更高要求,期待数据库拥有更高的性能、可扩展性、可用性以及降低成本,让开发人员专注于核心业务的应用开发,不用关注和核心业务无关的代码。

四是软件架构历经 PC、互联网、移动互联网,再到如今的万物互联时代,其中的迭代和转型正在驱动数据库选型的变化。

在此四大趋势下,伴随企业的业务量越来越大、越来越复杂,对数据库的要求越来越高。亚马逊云 科技 洞察客户需求,在打造云上数据库产品时提出五大理念:

一是专库专用,极致性能;二是无服务器,敏捷创新;第三是全球架构,一键部署;第四是平滑迁移,加速上云;第五是 AI 赋能,深度集成。

02 历经真实锤炼,五大数据库理念,持续赋能企业数智转型

顾凡表示,随着数据爆炸式增长,微服务架构与 DevOps 愈发流行的今天,一个数据库打天下的时代已然过去。我们需要在不同的应用场景下,针对不同的数据类型和不同的数据访问特点,为开发者和企业提供专门构建的工具。

所以亚马逊云 科技 提出 第一个核心数据库理念:专库专用 。在此理念下,推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。

这些数据库产品均经历过亚马逊内部核心业务的真实锤炼,成绩斐然:

亚马逊电商当年是 Oracle 的客户之一,随着亚马逊电商的应用重构和业务体量发展,亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中,将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年,亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中,包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache,于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。

从 Oracle 切换到亚马逊云 科技 后,亚马逊电商节省了 60% 成本,面向消费者端的应用程序延迟降低 40%,数据库管理支出减少 70%。

以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例,其拥有科媲美高端商业数据库的速度和可用性,还拥有开源数据库的简单性与成本效益,Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。

据顾凡介绍,Amazon Aurora 可提供 5 倍于标准 MySQL 性能,3 倍于 PostgreSQL 吞吐量。同时提供高可用,可用区(AZ)+1的高可用,Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本,成本只有商业数据库的 1/10。

医药企业九州通为药厂、供应商,搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少,受促销活动、工作时间等影响,经常会出现波峰波谷落差较大的情况,读写比例在 7:2 或者 8:3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展,整体数据库性能提升 5 倍,TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。

据权威机构预测,到 2022 年,75% 数据库将被部署或迁移至云平台。在这个过程中,亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的?这离不开除了上述的“专库专用”外,以下四大理念:

第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示,企业业务总有波峰波谷之时,如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话,将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源,这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。

Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库,其诞生最早可追溯到 2004 年,当时亚马逊电商作为 Oracle 的客户,尽管对于关系型数据库在零售场景的需求并不频繁,70% 均是键值类 *** 作,此时倒逼亚马逊电商思考:为什么要把关系型数据库这么重得使用?我们可以设计一款支持读写、可横向扩展的分布式数据库吗?后来的故事大家都知道了,这款数据库就是 Amazon DynamoDB,并在 2007 年发表论文,掀起业界 NoSQL 分布式数据库技术创新大潮。

Amazon DynamoDB 可为大规模应用提供支持,支撑亚马逊自身多个高流量网站和系统,如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day,光是针对DynamoDB API 的调用达到数万亿次,最高峰值请求达到每秒 8920 万次。由此可见,DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。

智能可穿戴设备厂商华米 科技 ,在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年,其手表出货量超 174 万台,截止到 2021 年 2 月,华米 科技 的可穿戴设备累计记录步数是 151 万步,累计记录的睡眠时间是 128 亿个夜晚,记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应,如何保证稳定性是巨大的挑战。

DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%,总体服务可用性提升了 025%,系统可用性指标达到 9999%,为华为 科技 全球化扩展提供了有力的支撑。

最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力,真正把扩展能力发挥到极致,在不到一秒的时间内,将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理,如果按照峰值来规划数据库资源,可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。

第三个理念是全球架构、一键部署。 在全球化的今天,如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上,对数据库提出新的挑战。

亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑,以一键部署的方式,帮助客户实现几千公里跨区域数据库灾备,故障恢复大概能在一分钟之内完成,同时跨区域的数据复制延迟通常小于一秒。

第四个理念是平滑迁移、加速上云。 目前,450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中,这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外,对于迁移过程中可能会需要的支持,可通过专业服务团队和合作伙伴网络成员,为客户提供专业支持,还通过 Database Freedom 项目帮助客户降低他们的顾虑。

今年 11 月,最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用,可加速企业上云的迁移,实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。

第五个理念是 AI赋能,深度集成。 我们观察到,ML 技术赋能数据库开发者,开发者无需具备机器学习专业知识,就可进行机器学习 *** 作。在此潮流下,亚马逊云 科技 推出 Amazon Neptune,借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。

今年 8 月,Neptune ML 在中国正式可用,允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布,用 gremlin 语句调用训练成的模型在数据库里实现推理,进行欺诈检测,推荐物品。

目前,亚马逊云 科技 加速在中国区域服务落地,2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念,打造丰富的数据库产品家族,在全球智能化发展趋势下,为企业提供更快更好的数智服务,释放数据价值,并连续六年入选 Gartner 领导者象限,得到业界和客户的深度认可。

随着全球各大 科技 巨头的竞相加入,开源软件技术已经活跃在各个信息技术领域当中。其中,大数据生态成为开源技术的直接受益者。开源技术适用于庞杂的数据管理系统,带来敏捷、高效、可扩展以及可自控的管理能力,并帮助企业降低IT建设及维护成本。2018年双11当天,阿里云原生数据库PolarDB轻松应对了0点0分0秒瞬时提升122倍的数据洪峰。Netflix也采用自研开源架构Metacat将海量数据集合成一个“单一”的数据仓库,大幅提升管理能效。

当前,我国有越来越多的企业、人才加入到开源社区,贡献力也“后来居上”,共同推进开源项目、开源生态的繁荣和可持续发展。

大数据生态成为开源技术重大“受益者”

近年来,在互联网服务、多媒体以及科学研究等多个领域,都可见到大数据的身影。在大数据时代,不断增长的数据量、快速处理数据的需求以及数据类型、结构和来源的多样性给数据库敏捷、高效、可扩展性以及个性化管理带来了全新挑战。

开源技术赋能了大数据生态的高质量发展。赛迪智库信息化和软件服务业所博士蒲松涛表示,经过了数十年的发展,开源软件和开源工具已经应用到了大数据产业发展的各个环节,基于开源软件,企业可以快速构建大数据应用平台,提供丰富的大数据开发和应用工具。

当前,几乎各种规模的企业都在使用开源软件和工具做大数据处理和基于数据的预测分析。开源界也涌现出了Hadoop、OpenStack、OpenShift、Mapreduce、docker等引领行业技术创新方向的重量级开源项目。

华泰人寿基于OpenShift架构打造易于管理的新IT系统,以提升企业竞争力,实现业务数字化转型。在基础设施上,引入红帽OpenShift容器云解决方案和红帽Ceph分布式存储。通过将保险业务上docker云,实现华泰人寿业务的d性伸缩和快速上线,加速其互联网保险项目快速落地。

美国知名在线影片租赁提供商Netflix也采用了大数据发现服务的开源框架Metacat。由于Netflix的数据仓库由许多大型的数据集组成,为了确保数据平台能够横跨这些数据集成为一个“单一”的数据仓库,Netflix开发的元数据服务Metacat,能让数据的发生、发现、处理和管理变得更加快捷高效、处理精度大幅提升;同时还可兼容Spark、Presto、Pig和Hive架构。Netflix软件架构师Ajoy Majumdar指出,开放开源是身为技术公司的竞争战略,既能够将自己的解决方案建立为行业标准和最佳实践,又能建立Netflix的技术品牌,还能从共享生态中获得反馈输入并受益。

事实上,推动大数据应用高质量发展的主流开源平台还有很多,例如Spark、Shark、Bagel等。蒲松涛表示,这些开源平台大幅降低应用门槛,有效帮助企业实现工业级应用,进而带动各行业大规模部署。此外,大数据还涌现出了一批开源支线平台。其中,Storm完全摆脱了经典的MapReduce架构,重新设计了一个适用于流式计算的架构,以数据流为驱动触发计算,计算时效性高,适应有向无环图计算拓扑的设计,计算方式较为灵活,在业界得到了一定的部署应用。

开源社区供需“双赢”中国力量已崛起

开源社区的建立为推动开源软件发展、构建行业竞争优势做出突出贡献,队伍的壮大需要每一位使用者持续不断的贡献智慧,以实现真正的“共赢”。开源的发展历程中,极客、大公司、商业颠覆者轮番登场,开源技术的诉求也从商业驱动向生态驱动发展。中国工程院院士廖湘科指出,开源是软件创新技术的主要来源,是生态抓手,而非赢利的切入点。

开源软件的“共享和贡献”机制吸引了众多开发者的参与,给了每一位开发者“颠覆 游戏 规则”的权利。有了这种生态的加持,信息技术将被快速推进,各个参与者将持续获利。对此,李飞飞表示,开源生态的受益者是开源技术的需求侧和供给侧双方。从供给侧角度来看,参与的人越多,思维碰撞而引发的迭代演进就会越快;从需求侧角度来看,各个企业不仅可以免除被闭源系统“技术绑定”,还可以在开源社区实现数据库技术迁移,企业还可针对企业技术特征进行数据库的个性定制化,实现大量的应用和代码的改造且系统间互相兼容。

中国开源软件推进联盟副 主席 兼秘书长刘澎在PostgreSQL CN 2019上表示,当前国内越来越多的企业为开源做出重要贡献,我国的开源实力已经崛起。以华为、阿里等为代表的开源软件开发者已经逐渐与亚马逊、微软站到了同一高度,实现了从“使用者”到“引领者”的身份转变。

目前,中国企业在Linux基金会中有1个白金会员(华为),1个金牌会员(阿里云)和数十家银牌会员(包括腾讯、中国移动、联想等)。华为在多个开源社区贡献排名前列。中国工程院院士倪光南认为,华为是开源软件的优秀开发代表,通过引进、消化,实现创新发展,进而贡献给整个开源社区。

阿里云也成为 游戏 规则的重要改变者和全球云数据库领跑者之一。2018年,阿里云数据库成功进入Gartner数据库魔力象限,这是该榜单首次出现中国公司。近日,Gartner发布的全球云数据库市场份额榜单中,阿里云位居第三,超越了Oracle、IBM和谷歌。5月21日,阿里云提供传统数据库一键迁移上云能力,可以帮助企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松上云,最快数小时内迁移完成。李飞飞表示,阿里云自研的PolarDB云原生数据库的分布式存储架构具有一写多度、计算与存储分离等优势,帮助淘宝交易平台应对了双11当天瞬时提升122倍的数据洪峰。

此外,国内还有包括百度、浪潮、瀚高等在内的众多企业积极参与并贡献到开源社区当中。人工智能、自动驾驶等新兴信息技术也成为开源项目的重要应用领域。

本质上,区块链是一个应用了密码学技术的,多方参与、共同维护、持续增长的分布式数据库系统,也称为分布式共享账本。其匿名性、去中心化、公开透明、不可篡改等特点,让区块链技术备受企业的青睐。

区块链落地应用有哪些呢?

1、医疗

在医疗领域,医院与医院微V-BQ尔无吧疤Y之间的数据共享意味着更精确的诊断,更有效的治疗,还能推动医疗系统的整体服务能力。但是,数据的共享也意味着医患的隐私暴露问题,区块链技术可以让医院、患者和医疗利益链上的各方在区块链网络里共享数据,而不必担忧数据的安全性和完整性。

2、物流

目前,物流最令人诟病的问题就是丢件漏件及快件损坏,而区块链技术可以记录货物从发出到接受过程中的所有环节,通过网络共识,直接定位到快递中间环节的问题所在,确保信息的可追踪性,从而避免快递爆仓丢包、误领错领等问题的发生。

3、大数据

大数据是现代企业发展中不可或缺的一环,而区块链所具备的安全性和不可篡改性,能让更多数据安全的被解放出来。基于全网共识为微V-BQ尔无吧疤Y基础的数据可信的区块链数据,是不可篡改的、安全的、也使数据的质量获得前所未有的强信任背书,也使数据库的发展进入一个新时代。

4、分布式商业平台

结合区块链技术去中心化、分布式账薄等优势来看,这项技术与商业平台领域有很多值得关注的融合点,如果能够以区块链技术为核心支撑技术,在商品交易领域研究和开发基于区块链技术的交易模式和交易系统,直接交易,这样一来,生产者能获得更大的收益,消费者也获得更低的产品成本,可谓两全其美。

数字化基础设施的完善是数字中国落地的必要条件。

数字中国旨在以遥感卫星图像为主要的技术分析手段,在可持续发展、农业、资源、环境、全球变化、生态系统、水土循环系统等方面管理中国。

为加快“数字中国”建设,中国政府开展了很多工作,包括积极实施“互联网+”行动,推进实施“宽带中国”战略和国家大数据战略等。此外,还将启动一批战略行动和重大工程,推进5G研发应用,实施IPv6规模部署行动计划等。

建设数字中国的基础条件

一、全国公民身份信息数字库建成

全国近13亿人口身份数据已于2006年底全部入库,世界最大的人口身份信息数据库“全国公民身份信息系统”正式建成。

二、我国信息基础设施建设初具规模

初步完成国家数据中心建设,建立了四个省级数据分中心。依托数据中心建设的数据容灾备份中心和安全认证中心正在规划中。全国国民信息网络体系框架初步建立,基本实现中央与各省内的网络连接。各部委机关的局域网建设已经完成。

三、个人网络应用已经发展到了新阶段

互联网已成为人民大众工作、生活不可或缺的工具和平台。截至2010年底,我国网络购物用户规模达到161亿人,有375亿人通过搜索引擎查询各类信息,353亿人通过即时通信工具沟通,还有295亿人通过博客发布各类信息和观点。

四、行业信息化应用体系初步形成

互联网在社会公共服务领域发挥越来越重要的作用。随着云计算、物联网等技术在医疗、交通等领域的应用,公共服务的手段和平台将进一步丰富和延伸,促进社会服务管理模式的创新发展。

电子政务建设的一大目标,就是帮助政务部门更好地履行职能,实现各种政务信息的上传下达,从而更好地提升工作效率,促进经济社会发展。其中,对于信息资源的采集、更新、公开与共享来说,信息流转的畅通是基础。从我国信息化建设的发展来看,网络往往是系统建设的基础。

五、信息化标准规范建设及基础性研究日益加强

信息标准规范研究取得初步进展,行业标准规范体系框架基本建立。一系列信息化标准技术规范已正式颁布实施。我国的数据库研究、管理动态信息系统和预警系统论证研究等一批重点课题完成。

六、信息化工作机构与人才队伍建设取得成效

国家信息化领导小组是为了进一步加强对推进我国信息化建设和维护国家信息安全工作的领导,于2001年8月由中共中央、国务院重新组建而成。国家信息化领导小组的具体工作由工业和信息化部承担。通过信息化重点项目实施,全国初步形成了一支信息化建设专业队伍,信息化应用环境得到显著改善。

七、统一平台、资源共享、以人为本的理念已成共识

近几年来,中国电子政务建设中的一个重要特征就是纵向、局部信息化的应用需求强劲。这些以部门、地区为代表的信息化应用,对于提高行政效率,促进国民经济的发展,都产生了深刻影响。

Transwarp StellarDB是自主研发的分布式图数据库,兼容openCypher查询语言,提供海量图数据的存储和分析能力,支持原生图存储结构,支持万亿边PB级数据存储。同时,StellarDB具备毫秒级点边查询能力,10+层的深度链路分析能力,提供近40种的图分析算法,具备数据2D和3D展示能力。星环科技StellarDB在金融、政府和社交网络等领域应用,并且在某地电信关系图谱场景实现了万亿边规模的存储和稳定运行,真正意义上将万亿级图数据库能力应用落地。

图数据库典型应用场景:

知识图谱:

于图数据库而言,知识图谱是图数据库关联最为紧密、应用范围最广的应用场景。知识图谱对海量信息进行智能化处理,形成大规模的知识库并进而支撑业务应用。

知识图谱中图数据库具有存储和查询两方面的技术优势:存储方面:图数据库提供了灵活的设计模式;查询方面:图数据库提供了高效的关联查询

作为图数据库的底层应用,知识图谱可为多种行业提供服务,具体应用场景例如电商、金融、法律、医疗、智能家居等多个领域的决策系统、推荐系统、智能问答等。

风险合规知识图谱:风险是金融的命脉,也是国家监管科技的主干。金融监管+风险合规的知识图谱是星环科技最早开始投入建设和技术研发的方向。面向超大规模图网络,星环科技率先发布了支持空间3D的图展示,避免了二维图的展示对于超过万节点的图无法清晰体现的弊端;同时结合反洗钱网络图谱利用属性图中节点带有地理定位属性,构建了跨境可疑资金转正图网络,对于可疑跨境交易一目了然。

精准营销类知识图谱:大型金融机构可能存在上千万家的B端或者C端用户,如何实现针对不同用户的精准营销?在营销知识图谱方面,星环科技面向银行开发了对公知识图谱的技术,实现了在营销端沉淀业务知识,充分发挥图谱价值,帮助银行实现诸如疫情期间小微企业信贷精准投放等应用。

投资研究类支持图谱:在金融和资本市场,最重要的金融业务就是投资,利用知识图谱刻画人类研究成果,进行知识图谱化表达和构建,也是多家券商和基金公司在探索金融科技赋能投资收益效果的发展路线图。在投资知识图谱方面,星环科技通过全栈能力,深度融合NLP+知识图谱技术,通过知识表示学习等领先的知识图谱技术,实现智能投研知识图谱,赋能投资研究场景应用。

金融领域

在金融领域,图数据库通过利用多维交叉关联信息可以深度刻画交易行为,可以有效识别规模化、隐蔽性的欺诈网络,结合机器学习、聚类分析、风险传播等相关算法,可以实时计算用户的风险评分,在风险行为发生前预先识别,有效帮助金融机构提升效率、降低风险。

反欺诈:通过账户、交易、电话、IP地址、地理位置等关键实体信息的关联关系,对风险暴露人的N层图挖掘,帮助筛选疑似欺诈人员,达到预防目的。

反欺诈信贷担保圈:中小企业通过关联企业、产业链上下游客户、关系人等相互担保,形成关系复杂的“担保网”,信贷担保圈的挖掘对企业贷款风险的识别与防范有重要意义。

股权穿透:通常是由高管、企业及关联公司构成的复杂网络,以股权为纽带,向上穿透到目标企业最终实际控制人,向下穿透到该企业任意层股权投资的所有企业及其股东。

图数据库更多应用场景

金融领域 :冒名贷款、银行零售知识图谱、银行对公知识图谱、资金流向分析、企业关联图谱、事件传递图谱、个人信贷反欺诈、反洗钱知识图谱等

政企领域 :物联网、智慧城市、道路规划、智能交通、轨迹分析、疫情防控、寄递关系画像等

电信领域:深度经营分析、防骚扰、电信诈骗防范、运营商经营分析等

零售领域 :智能推荐、精准营销、供应链管理、货物推荐、浏览轨迹分析等

社交领域 :社区发现、好友推荐、兴趣用户推荐、舆论跟踪等

工业领域 :电网分析、供应链管理、设备管理、物流分析等

医疗领域 :智能诊断、电子病历、医保&保险分析等

数据仓库系统的三个工具层数据仓库系统通常采用3层的体系结构,底层为数据仓库服务器,中间层为OLAP服务器,顶层为前端工具。具体如下:

1、数据源和数据的存储与管理部分可以统称为数据仓库服务器。

(1)数据源:是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息,等等。

(2)数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。

2、OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。

3、前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具,以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。

数据库加密的方式从最早到现在有4种技术,首先是前置代理加密技术,该技术的思路是在数据库之前增加一道安全代理服务,所有访问数据库的行为都必须经过该安全代理服务,在此服务中实现如数据加解密、存取控制等安全策略,安全代理服务通过数据库的访问接口实现数据存储。安全代理服务存在于客户端应用与数据库存储引擎之间,负责完成数据的加解密工作,加密数据存储在安全代理服务中。

然后是应用加密技术,该技术是应用系统通过加密API对敏感数据进行加密,将加密数据存储到数据库的底层文件中;在进行数据检索时,将密文数据取回到客户端,再进行解密,应用系统自行管理密钥体系。

其次是文件系统加解密技术,该技术不与数据库自身原理融合,只是对数据存储的载体从 *** 作系统或文件系统层面进行加解密。这种技术通过在 *** 作系统中植入具有一定入侵性的“钩子”进程,在数据存储文件被打开的时候进行解密动作,在数据落地的时候执行加密动作,具备基础加解密能力的同时,能够根据 *** 作系统用户或者访问文件的进程ID进行基本的访问权限控制。

最后后置代理技术,该技术是使用“视图”+“触发器”+“扩展索引”+“外部调用”的方式实现数据加密,同时保证应用完全透明。核心思想是充分利用数据库自身提供的应用定制扩展能力,分别使用其触发器扩展能力、索引扩展能力、自定义函数扩展能力以及视图等技术来满足数据存储加密,加密后数据检索,对应用无缝透明等核心需求。安华金和的加密技术在国内是唯一支持TDE的数据库加密产品厂商。

以上就是关于数据库的数据存储介质有哪些,优劣各是什么全部的内容,包括:数据库的数据存储介质有哪些,优劣各是什么、五大数据库理念,读懂亚马逊云科技的数据库布局、一场替换传统数据库的行动正在全球范围悄然进行等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9319689.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存