其中1，2相对较容易实现,本文重点讲讲水平拆表和水平拆库,以及基于mybatis插件方式实现水平拆分方案落地。
在 《聊一聊扩展字段设计》 一文中有讲解到基于KV水平存储扩展字段方案,这就是非常典型的可以水平分表的场景。主表和kv表是一对N关系,随着主表数据量增长,KV表最大N倍线性增长。
这里我们以分KV表水平拆分为场景
对于kv扩展字段查询,只会根据id + key 或者 id 为条件的方式查询,所以这里我们可以按照id 分片即可
分512张表(实际场景具体分多少表还得根据字段增加的频次而定)
分表后表名为kv_000 ~ kv_511
id % 512 = 1 .... 分到 kv_001,
id % 512 = 2 .... 分到 kv_002
依次类推!
水平分表相对比较容易,后面会讲到基于mybatis插件实现方案
场景:以下我们基于博客文章表分库场景来分析
目标:
表结构如下(节选部分字段):
按照user_id sharding
假如分1024个库,按照user_id % 1024 hash
user_id % 1024 = 1 分到db_001库
user_id % 1024 = 2 分到db_002库
依次类推
目前是2个节点,假如后期达到瓶颈,我们可以增加至4个节点
最多可以增加只1024个节点,性能线性增长
对于水平分表/分库后,非shardingKey查询首先得考虑到
基于mybatis分库分表,一般常用的一种是基于spring AOP方式, 另外一种基于mybatis插件。其实两种方式思路差不多。
为了比较直观解决这个问题,我分别在Executor 和StatementHandler阶段2个拦截器
实现动态数据源获取接口
测试结果如下
由此可知,我们需要在Executor阶段 切换数据源
对于分库:
原始sql:
目标sql:
其中定义了三个注解
@useMaster 是否强制读主
@shardingBy 分片标识
@DB 定义逻辑表名 库名以及分片策略
1)编写entity
Insert
select
以上顺利实现mysql分库,同样的道理实现同时分库分表也很容易实现。
此插件具体实现方案已开源: https://github.com/bytearch/mybatis-sharding
目录如下:
mysql分库分表,首先得找到瓶颈在哪里(IO or CPU),是分库还是分表,分多少？不能为了分库分表而拆分。
原则上是尽量先垂直拆分 后 水平拆分。
以上基于mybatis插件分库分表是一种实现思路,还有很多不完善的地方,
例如:
当数据库表中数据量能够被预测到将会非常大，或者已经拥有庞大的数据时，我们应该选择分表或者分区（即使用多个数据库）来解决数据访问时的性能问题。如果单机的cpu能够承受站点的并发数，应该选择分表的方式，因为分表相对简单，容易实现scale，而且涉及到多表连接时，分区是不能直接使用join的。但如果站点并发数太大，需要多个cpu来访问多个数据库是无疑的，这时需要选择分区的方式。数据库优化是系统工程，性能的提升靠整体。本课程将面面俱到的讲解提升数据库性能的各种因素，让你在最短的时间从小白到资深，将数据库整体架构了然于胸
第1章 实例和故事 试看7 节 | 50分钟
决定电商11大促成败的各个关键因素。
收起列表
视频：1-1 什么决定了电商双11大促的成败 (04:04)试看
视频：1-2 在双11大促中的数据库服务器 (06:03)
视频：1-3 在大促中什么影响了数据库性能 (07:55)
视频：1-4 大表带来的问题 (14:13)
视频：1-5 大事务带来的问题 (17:27)
作业：1-6 【讨论题】在日常工作中如何应对高并发大数据量对数据库性能挑战
作业：1-7 【讨论题】在MySQL中事务的作用是什么？
第2章 什么影响了MySQL性能 试看30 节 | 210分钟
详细介绍影响性能各个因素，包括硬件、 *** 作系统等等。
收起列表
视频：2-1 影响性能的几个方面 (04:08)试看
视频：2-2 CPU资源和可用内存大小 (10:54)
视频：2-3 磁盘的配置和选择 (04:44)
视频：2-4 使用RAID增加传统机器硬盘的性能 (11:30)
视频：2-5 使用固态存储SSD或PCIe卡 (08:35)
视频：2-6 使用网络存储SAN和NAS (07:16)
视频：2-7 总结：服务器硬件对性能的影响 (03:27)
视频：2-8 *** 作系统对性能的影响-MySQL适合的 *** 作系统 (03:50)
视频：2-9 CentOS系统参数优化 (11:43)
视频：2-10 文件系统对性能的影响 (03:29)
视频：2-11 MySQL体系结构 (05:29)
视频：2-12 MySQL常用存储引擎之MyISAM (13:23)
视频：2-13 MySQL常用存储引擎之Innodb (10:44)
视频：2-14 Innodb存储引擎的特性(1) (15:24)
视频：2-15 Innodb存储引擎的特性(2) (08:44)
视频：2-16 MySQL常用存储引擎之CSV (09:19)
视频：2-17 MySQL常用存储引擎之Archive (06:08)
视频：2-18 MySQL常用存储引擎之Memory (10:40)
视频：2-19 MySQL常用存储引擎之Federated (11:21)
视频：2-20 如何选择存储引擎 (04:33)
视频：2-21 MySQL服务器参数介绍 (08:04)
视频：2-22 内存配置相关参数 (09:24)
视频：2-23 IO相关配置参数 (10:01)
视频：2-24 安全相关配置参数 (06:13)
视频：2-25 其它常用配置参数 (03:41)
视频：2-26 数据库设计对性能的影响 (04:36)
视频：2-27 总结 (01:32)
作业：2-28 【讨论题】你会如何配置公司的数据库服务器硬件？
作业：2-29 【讨论题】你认为对数据库性能影响最大的因素是什么
作业：2-30 【讨论题】做为电商的DBA，建议开发选哪种MySQL存储引擎
第3章 MySQL基准测试8 节 | 65分钟
了解基准测试,MySQL基准测试工具介绍及实例演示。
收起列表
视频：3-1 什么是基准测试 (02:20)
视频：3-2 如何进行基准测试 (09:00)
视频：3-3 基准测试演示实例 (11:18)
视频：3-4 Mysql基准测试工具之mysqlslap (13:30)
视频：3-5 Mysql基准测试工具之sysbench (11:07)
视频：3-6 sysbench基准测试演示实例 (17:11)
作业：3-7 【讨论题】MySQL基准测试是否可以体现出业务系统的真实性能
作业：3-8 【实 *** 题】参数不同取值对性能的影响
第4章 MySQL数据库结构优化14 节 | 85分钟
详细介绍数据库结构设计、范式和反范式设计、物理设计等等。
收起列表
视频：4-1 数据库结构优化介绍 (06:52)
视频：4-2 数据库结构设计 (14:49)
视频：4-3 需求分析及逻辑设计 (11:00)
视频：4-4 需求分析及逻辑设计-反范式化设计 (06:44)
视频：4-5 范式化设计和反范式化设计优缺点 (04:06)
视频：4-6 物理设计介绍 (05:17)
视频：4-7 物理设计-数据类型的选择 (18:59)
视频：4-8 物理设计-如何存储日期类型 (13:37)
视频：4-9 物理设计-总结 (02:37)
图文：4-10 说明MyISAM和Innodb存储引擎的5点不同
作业：4-11 【讨论题】判断表结构是否符合第三范式要求?如不满足要如何修改
作业：4-12 【实 *** 题】请设计一个电商订单系统的数据库结构
作业：4-13 【讨论题】以下那个字段适合作为Innodb表的主建使用
作业：4-14 【讨论题】请为下表中的字段选择合适的数据类型
第5章 MySQL高可用架构设计 试看24 节 | 249分钟
详细介绍二进制日志及其对复制的影响、GTID的复制、MMM、MHA等等。
收起列表
视频：5-1 mysql复制功能介绍 (04:58)
视频：5-2 mysql二进制日志 (22:05)
视频：5-3 mysql二进制日志格式对复制的影响 (09:37)
视频：5-4 mysql复制工作方式 (03:08)
视频：5-5 基于日志点的复制 (20:06)
视频：5-6 基于GTID的复制 (22:32)
视频：5-7 MySQL复制拓扑 (13:58)
视频：5-8 MySQL复制性能优化 (09:23)
视频：5-9 MySQL复制常见问题处理 (08:31)
视频：5-10 什么是高可用架构 (14:09)
视频：5-11 MMM架构介绍 (08:09)
视频：5-12 MMM架构实例演示（上） (09:16)试看
视频：5-13 MMM架构实例演示（下） (18:55)
视频：5-14 MMM架构的优缺点 (08:01)
视频：5-15 MHA架构介绍 (10:02)
视频：5-16 MHA架构实例演示(1) (13:11)
视频：5-17 MHA架构实例演示(2) (16:54)
视频：5-18 MHA架构优缺点 (05:14)
视频：5-19 读写分离和负载均衡介绍 (11:42)
视频：5-20 MaxScale实例演示 (18:25)
作业：5-21 【讨论题】MySQL主从复制为什么会有延迟，延迟又是如何产生
作业：5-22 【实 *** 题】请为某互联网项目设计99.99%MySQL架构
作业：5-23 【讨论题】如何给一个已经存在的主从复制集群新增一个从节点
作业：5-24 【讨论题】给你三台数据库服务器，你如何设计它的高可用架构
第6章 数据库索引优化8 节 | 65分钟
介绍BTree索引和Hash索引，详细介绍索引的优化策略等等。
收起列表
视频：6-1 Btree索引和Hash索引 (20:09)
视频：6-2 安装演示数据库 (01:19)
视频：6-3 索引优化策略（上） (17:33)
视频：6-4 索引优化策略（中） (13:02)
视频：6-5 索引优化策略（下） (12:30)
作业：6-6 【讨论题】一列上建立了索引，查询时就一定会用到这个索引吗
作业：6-7 【讨论题】在定义联合索引时为什么需要注意联合索引中的顺序
作业：6-8 【实 *** 题】SQL建立索引，你会考虑那些因素
第7章 SQL查询优化9 节 | 62分钟
详细介绍慢查询日志及示例演示,MySQL查询优化器介绍及特定SQL的查询优化等。
收起列表
视频：7-1 获取有性能问题SQL的三种方法 (05:14)
视频：7-2 慢查询日志介绍 (08:57)
视频：7-3 慢查询日志实例 (08:27)
视频：7-4 实时获取性能问题SQL (02:21)
视频：7-5 SQL的解析预处理及生成执行计划 (16:02)
视频：7-6 如何确定查询处理各个阶段所消耗的时间 (09:35)
视频：7-7 特定SQL的查询优化 (10:34)
作业：7-8 【讨论题】如何跟据需要对一个大表中的数据进行删除或更新
作业：7-9 【讨论题】如何获取需要优化的SQL查询
第8章 数据库的分库分表5 节 | 48分钟
详细介绍数据库分库分表的实现原理及演示案例等。
收起列表
视频：8-1 数据库分库分表的几种方式 (04:34)
视频：8-2 数据库分片前的准备 (13:53)
视频：8-3 数据库分片演示(上) (11:40)
视频：8-4 数据库分片演示(下) (17:02)
作业：8-5 【讨论题】对于大表来说我们一定要进行分库分表吗
第9章 数据库监控7 节 | 29分钟
介绍数据库可用性监控、性能监控、MySQL主从复制监控等
收起列表
视频：9-1 数据库监控介绍 (04:46)
视频：9-2 数据库可用性监控 (07:20)
视频：9-3 数据库性能监控 (09:39)
视频：9-4 MySQL主从复制监控 (06:16)
作业：9-5 【讨论题】QPS是否可以真实的反映出数据库的负载情况
作业：9-6 【讨论题】如何正确评估数据库的当前负载状况
作业：9-7 【实 *** 题】开发一个简单监控脚本，监控mySQL数据库阻塞情况
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）