数据库水平拆分和垂直拆分 怎么实现

数据库水平拆分和垂直拆分 怎么实现,第1张

垂直拆分

垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表

通常我们按以下原则进行垂直拆分:

把不常用的字段单独放在一张表

把text,blob等大字段拆分出来放在附表中

经常组合查询的列放在一张表中垂直拆分更多时候就应该在数据表设计之初就执行的步骤,然后查询的时候用join关键起来即可

水平拆分

水平拆分是指数据表行的拆分,表的行数超过200万行时,就会变慢,这时可以把一张的表的数据拆成多张表来存放。

水平拆分的一些技巧

1. 拆分原则

通常情况下,我们使用取模的方式来进行表的拆分比如一张有400W的用户表users,为提高其查询效率我们把其分成4张表

users1,users2,users3,users4

通过用ID取模的方法把数据分散到四张表内Id%4+1 = [1,2,3,4]

这里是个小哈希,然后查询,更新,删除也是通过取模的方法来查询

$_GET['id'] = 17,

17%4 + 1 = 2,

$tableName = 'users'.'2'

Select * from users2 where id = 17

在insert时还需要一张临时表uid_temp来提供自增的ID,该表的唯一用处就是提供自增的ID

insert into uid_temp values(null)

得到自增的ID后,又通过取模法进行分表插入

注意,进行水平拆分后的表,字段的列和类型和原表应该是相同的,但是要记得去掉auto_increment自增长

另外

部分业务逻辑也可以通过地区,年份等字段来进行归档拆分

进行拆分后的表,只能满足部分查询的高效查询需求,这时我们就要在产品策划上,从界面上约束用户查询行为。比如我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要先选择年,然后才能进行查询

在做分析或者统计时,由于是自己人的需求,多点等待其实是没关系的,并且并发很低,这个时候可以用union把所有表都组合成一张视图来进行查询,然后再进行查询

Create view users as select from users1 union select from users2 union.........

数据库建表分区partitionbyid根据原理

Mysql 的分区技术与水平分表有点类似, 但是它是在逻辑层进行的水平分表, 对于应用而言它还是一张表, 换句话说: 分区不是实际真正的对一张表进行拆分,分区之后表还是一个表,它是把存储文件进行拆分。

在 Mysql 5.1(后) 有了几种分区类型:

RANGE分区: 基于属于一个给定连续区间的列值, 把多行分配给分区

LIST分区: 类似于按 RANGE 分区, 区别在于 LIST 分区是基于列值匹配一个离散值集合中的某个值来进行选择

HASH分区: 基于用户定义的表达式的返回值来进行选择分区, 该表达式使用将要插入到表中的这些行的列值进行计算, 这个函数可以包含 Mysql 中有效的、产生非负整数值的任何表达式

KEY分区: 累世于按 HASH 分区, 区别在于 KEY 分区只支持计算一列或多列, 且 Mysql 服务器提供其自身的哈希函数


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6750081.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-27
下一篇 2023-03-27

发表评论

登录后才能评论

评论列表(0条)

保存