GBase 8a MPP Cluster数据库的数据分片是什么概念如何理解

GBase 8a MPP Cluster数据库的数据分片是什么概念如何理解,第1张

这种概念上的含混不清之所以还在流传,主要是因为不懂技术的人而喜欢这些概念的大有人在,所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构,那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。

比如,ShardingSphere转向可插拔架构后,其核心流程里已经没有分片功能了,分片会作为可插拔能力的一部分接入到服务中。对于数据库中间件来说,几乎属于产品重定义。与许多人对数据库中间件的固有认知相悖,因为在许多人的理解中,数据库中间件不就是为了分库分表而存在的吗?

理解关系数据库中的相关概念、关系模型及其三要素;理解关系的性质及类型;理解完整性规则在关系数据库中的作用;理解关系代数运算,掌握传统的集合运算与专门的关系运算;理解并掌握关系演算。

很多人在对比两者时,其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上,当人们在对比两者时,与其说是对比架构,不如说是对比产品。虽然MPP的原意是“大规模并行处理”,但由于一些历史原因,现在当人们说到MPP架构时,它们实际上指代的是“分布式数据库”,而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思,现实中还是经常有人纠结两者到底有什么联系和区别,两者到底是不是同一个层面的概念。

访问量在3W左右的话,算比较大的了。这种大型数据库服务器对cpu性能,内存容量,磁盘读写速度要求都非常高的。\x0d\\x0d\你可以看看国产品牌正睿的这款双路八核服务器,标配2个Xeon E5-2690八核心十六线程处理器(29GHz,8GT,20M缓存)、24G DDR3 REG ECC容错校验内存,SSD 512G 6Gbps高性能固态硬盘,2U热插拔机构,可以在不关机的情况下增加或更换硬盘,四个千兆网卡。如果以后随着业务量的增长,觉得性能不够用了,还可以扩展到两颗处理器,达成16颗处理核心32条计算线程(任务管理器那里可以看到32个处理器格子,相当恐怖- -~),最大支持512GB DDR3 REG ECC高速容错校验内存,怎么也够用了。\x0d\产品型号:I22S2-88916RHVK\x0d\产品类型:双路八核机架式服务器\x0d\ 处 理 器:Xeon E5-2690×2\x0d\内 存:32G DDR3 REG ECC\x0d\硬 盘:SSD 512G\x0d\机 构:2U机架式 \x0d\价 格:¥69800\x0d\ 银牌服务\x0d\全国三年免费上门售后服务,关键部件三年以上免费质保。\x0d\\x0d\这个配置跑你的大型数据库怎么也够用了,CPU性能时顶级配置了,没办法再升了。硬盘是超高性能的SSD硬盘,读可以达到500MB/s,写可以达到260MB/s,如果加上3个做raid5,那读速度可以达到1200MB/s,写可以达到500MB/s左右,所向无敌。所以可以考虑增加到3个,做raid5阵列,这样既保证数据安全,又可以提升读写性能。\x0d\\x0d\给你推荐的是国产品牌正睿的服务器产品,他们的产品性价比很高,做工很专业,兼容性,质量之类的都有保障,售后也很完善,3年免费质保,3年免费上门售后服务,在业界口碑很不错。

MySQL 可能是最著名的 关系数据库管理系统 (RDBMS),作为一款免费开源软件开发,最初由 MYSQL AB 公司提供支持,但现在归 Oracle 所有。

在 MySQL 中,用于表的“存储引擎”决定了数据的处理方式。有几种可用的存储引擎,但最常用的是 InnoDB MyISAM

在本文中,我们将了解它们的显着特征以及它们之间的主要区别。

在本教程中,您将学习:

在我们讨论两个主要 MySQL 存储引擎之间的特性和区别之前,先来了解一下什么是存储引擎?

存储引擎,也称为“ 表处理程序 ”,基本上是解释和管理与数据库表的 SQL 查询相关的 *** 作的数据库部分。

在最新版本的 MySQL 中,可以使用“ 可插拔 ”架构来组织和管理存储引擎,存在多种存储引擎,但最常用的两个是 InnoDB MyISAM

要获得我们正在使用的数据库中可用存储引擎的列表,我们所要做的就是发出一个简单的 SQL 查询,因此我们需要做的第一件事就是打开一个 MySQL 交互式提示并使用数据库用户登录及其密码:

如果登录成功,提示将变为mysql>,在这里,我们可以运行我们的 SQL 查询来可视化可用的存储引擎:

执行查询后,我们应该获得类似于以下内容的结果:

在上表中,作为查询结果生成,我们可以通过查看Support每行列中的值轻松了解支持哪些存储引擎,“YES”值表示存储引擎可用,否则“NO”。相反,同一列中的“DEFAULT”值表示相应的引擎(在本例中为 InnoDB)是服务器使用的默认引擎。

Transactions ”和“ Savepoints ”列中存在的值分别表示存储引擎是否支持事务和回滚。正如我们通过查看表可以看到的,只有 InnoDB 引擎可以。

关于存储引擎的信息存在于“ INFORMATION_SCHEMA ”数据库的“ ENGINES ”表中,因此我们也可以发出标准的“SELECT”查询来获取我们需要的数据:

我们将获得与上面看到的相同的结果。

让我们看看两个最常用的存储引擎 InnoDB 和 MyISAM 之间的主要特性和区别是什么。

正如我们已经说过的, InnoDB 是自 MySQL 以来的默认存储引擎55。

此存储引擎的一些主要功能如下:

对事务的支持提供了一种安全的方式来执行多个查询以保持数据一致。

当多个修改数据的 *** 作被执行并且我们想要确保它们只有在所有 *** 作都成功并且没有错误发生时才有效时,我们想要使用事务。

典型的处理方式是启动事务并执行查询:如果出现错误,则执行回滚,否则提交更改。

当使用 InnoDB 数据锁定发生在行级别时,因此在事务期间锁定的数据量是有限的。

InnoDB 有两种类型的锁:

一个共享锁允许谁拥有它读取该行的交易,而一个排它锁允许交易执行其修改行的 *** 作,所以要更新或删除数据。

当一个事务在某行上获得共享锁,而另一个事务需要相同的锁类型时,立即授予;但是,如果第二个事务在同一行上请求排他锁,它将不得不等待。

如果第一个事务持有该行的排他锁,则第二个事务将不得不等待该锁被释放以获得共享锁或排他锁。

外键是一个非常重要的特性,因为它们可用于基于表之间的逻辑关系来强制执行数据完整性。想象一下,我们的数据库中有三个表(假设它被称为“testdb”):一个user包含现有用户的job表,一个注册所有可用作业的user_job表,以及一个用于表示用户和用户之间存在的多对多关系的表。作业(一个用户可以有多个作业,多个作业可以与同一个用户关联)。

该user_job表就是所谓的连接表或关联表,因为它的唯一目的是表示用户-工作关联。该表有两列,一个叫user_id和其他job id。表中会存在两个外键约束,强制执行以下规则:user_id列中的值只能引用表id列中的值,列中的user值job_id必须引用表id列中的现有值job

这将强制执行完整性,因为仅允许现有用户和作业的 ID 存在于关联表中。删除涉及表中一个或多个关联的用户或作业user_job也是不允许的,除非为相应的外键设置了CASCADE DELETE规则。在这种情况下,当删除用户或作业时,它们所涉及的关系也将被删除。

MyISAM 曾经是默认的 MySQL 存储引擎,但已被 InnoDB 取代。使用此引擎时,数据锁定发生在表级别,因此执行 *** 作时锁定的数据更多。

与 InnoDB 不同,MyISAM 不支持事务回滚和提交,因此必须手动执行回滚。MyISAM 和 InnoDB 之间的另一个很大区别是前者不支持外键。MyISAM 更简单,并且在对有限数据集进行读取密集型 *** 作时可能具有优势(有争议)。

在表上使用 MyISAM 时,会设置一个标志,指示该表是否需要修复,例如在突然关闭之后。稍后可以使用适当的工具执行表修复。

如何知道特定表使用了什么存储引擎?我们所要做的就是发出一个简单的查询。

例如,要知道user我们在前面的例子中提到的表使用了什么存储引擎,我们将运行:

注意上面的查询我们使用了G,为了让查询结果垂直显示,优化空间。执行查询后,我们将获得以下结果:

在这种情况下,通过查看“Engine”列中存储的值,我们可以清楚地看到该表使用的是“InnoDB”引擎。获取相同信息的另一种方法是INFORMATION_SCHEMATABLES直接查询表:

上面的查询将只返回表使用的引擎:

如果我们稍微更改查询,我们可以获得数据库中所有表名的列表以及它们使用的引擎:

如果我们要为一个表设置一个特定的存储引擎,我们可以在创建时指定它。例如,假设我们正在创建job表,并且出于某种原因我们想要使用 MyISAM 存储引擎。我们将发出以下 SQL 查询:

相反,如果我们想要更改用于已存在表的存储引擎,我们只需要使用ALTERSQL 语句。假设我们要将上一个示例中创建的“job”表所使用的存储引擎更改为 InnoDB;我们会运行:

在本教程中,我们学习了什么是数据库存储引擎,并且我们看到了两个最常用的 MySQL 引擎的主要特性: InnoDB MyISAM

我们看到了如何检查哪些引擎可用、哪些引擎用于表以及如何使用 SQL 查询设置和修改表引擎。

很长时间以来,关系型数据库一直是大公司的专利,市场被Oracle/DB2等企业数据库牢牢把持。但是随着互联网的崛起、开源社区的发展,上世纪九十年代MySQL10的发布,标志着关系型数据库的领域社区终于有可选择的方案。

MySQL

第一个介绍的单机RDBMS就是MySQL。相信大多数朋友都已经对MySQL非常熟悉,基本上MySQL的成长史就是互联网的成长史。我接触的第一个MySQL版本是MySQL40,到后来的MySQL55更是经典——基本所有的互联网公司都在使用。MySQL也普及了「可插拔」引擎这一概念,针对不同的业务场景选用不同的存储引擎是MySQLtuning的一个重要的方式。比如对于有事务需求的场景使用InnoDB;对于并发读取的场景MyISAM可能比较合适;但是现在我推荐绝大多数情况还是使用InnoDB,毕竟56后已经成为了官方的默认引擎。大多数朋友都基本知道什么场景适用MySQL(几乎所有需要持久化结构化数据的场景),我就不赘述了。

另外值得一提的是MySQL56中引入了多线程复制和GTID,使得故障恢复和主从的运维变得比较方便。另外,57(目前处于GA版本)是MySQL的一个重大更新,主要是读写性能和复制性能上有了长足的进步(在56版本中实现了SCHEMA级别的并行复制,不过意义不大,倒是MariaDB的多线程并行复制大放异彩,有不少人因为这个特性选择MariaDB。MySQL57MTS支持两种模式,一种是和56一样,另一种则是基于binloggroupcommit实现的多线程复制,也就是MASTER上同时提交的binlog在SLE端也可以同时被apply,实现并行复制)。如果有单机数据库技术选型的朋友,基本上只需要考虑57或者MariaDB就好了,而且56、57由Oracle接手后,性能和稳定性上都有了明显的提升。

PostgreSQL

PostgreSQL的历史也非常悠久,其前身是UCB的Ingres,主持这个项目的MichaelStronebraker于2015年获得图灵奖。后来项目更名为Post-Ingres,项目基于BSDlicense下开源。1995年几个UCB的学生为Post-Ingres开发了SQL的接口,正式发布了PostgreSQL95,随后一步步在开源社区中成长起来。和MySQL一样,PostgreSQL也是一个单机的关系型数据库,但是与MySQL方便用户过度扩展的SQL文法不一样的是,PostgreSQL的SQL支持非常强大,不管是内置类型、JSON支持、GIS类型以及对于复杂查询的支持,PL/SQL等都比MySQL强大得多,而且从代码质量上来看,PostgreSQL的代码质量是优于MySQL的,另外相对于MySQL57以前的版本,PostgreSQL的SQL优化器比MySQL强大很多,几乎所有稍微复杂的查询PostgreSQL的表现都优于MySQL。

从近几年的趋势上来看,PostgreSQL的势头也很强劲,我认为PostgreSQL的不足之处在于没有MySQL那样强大的社区和群众基础。MySQL经过那么多年的发展,积累了很多的运维工具和最佳实践,但是PostgreSQL作为后起之秀,拥有更优秀的设计和更丰富的功能。电脑培训发现PostgreSQL9以后的版本也足够稳定,在做新项目技术选型的时候,是一个很好的选择。另外也有很多新的数据库项目是基于PostgreSQL源码的基础上进行二次开发,比如Greenplum等。

选择数据库服务器的原则:

1、高性能原则:保证所选购的服务器,不仅能够满足运营系统的运行和业务处理的需要,而且能够满足一定时期业务量的增长。一般可以根据经验公式计算出所需的服务器TpmC值(Tpmc是衡量计算机系统的事务处理能力的程序)。

后比较各服务器厂商和TPC组织公布的TpmC值,选择相应的机型。同时,用服务器的市场价/报价除去计算出来的TpmC值得出单位TpmC值的价格,进而选择高性能价格比的服务器。

2、可靠性原则:可靠性原则是所有选择设备和系统中首要考虑的,尤其是在大型的、有大量处理要求的、需要长期运行的系统上。考虑服务器系统的可靠性,不仅要考虑服务器单个节点的可靠性或稳定性,而且要考虑服务器与相关辅助系统之间连接的整体可靠性。

扩展资料:

优点:

1、编程量减少

数据库服务器提供了用于数据 *** 纵的标准接口API(Application Programming Interface,应用程序编程接 口)。

2、数据库安全高

数据库服务器提供监控性能、并发控制等工具。由DBA(Database Administrator,数据库管理员)统一负 责授权访问数据库及网络管理。

3、数据可靠性管理

数据库服务器提供统一的数据库备份/恢复、启动/停止数据库的管理工具。

4、计算机资源利用充分

数据库服务器把数据管理及处理工作从客户机上分离出来,使网络中各计算机资源能灵活分配、各尽其用。

参考资料来源:百度百科-数据库服务器

以上就是关于GBase 8a MPP Cluster数据库的数据分片是什么概念如何理解全部的内容,包括:GBase 8a MPP Cluster数据库的数据分片是什么概念如何理解、大型数据库服务器配置(访问量在3万左右)具体清单里有什么、什么是MySQL存储引擎等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9377608.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存