MySQL Mycat 分布式架构_随笔

参考： https://www.jianshu.com/p/5e0062f6cf62

图中是两组分片，红色我们称为shard1，蓝色我们称为shard2

51 52是服务器

两个3307互为主从(双主)，3309是本地3307的从库

说明：没有明确说明是只在某一个节点上做的，就是两个节点都做

两台虚拟机 db01 db02

每台创建四个mysql实例：3307 3308 3309 3310

mysql软件我们之前已完成二进制安装，直接初始化即可

我们server-id规划为：db01上是7/8/9/10,db02上是17/18/19/20

"箭头指向谁是主库"

10.0.0.51:3307<-----> 10.0.0.52:3307

10.0.0.51:3309------> 10.0.0.51:3307

10.0.0.52:3309------> 10.0.0.52:3307

两个分片，每个分片四个mysql节点

shard1：

Master：10.0.0.51:3307

slave1：10.0.0.51:3309

Standby Master：10.0.0.52:3307

slave2：10.0.0.52:3309

shard2：

Master：10.0.0.52:3308

slave1：10.0.0.52:3310

Standby Master：10.0.0.51:3308

slave2：10.0.0.51:3310

shard1

10.0.0.51:3307 <----->10.0.0.52:3307

db02

db01

db02

10.0.0.51:3309 ------>10.0.0.51:3307

db01

10.0.0.52:3309 ------>10.0.0.52:3307

db02

shard2

10.0.0.52:3308 <----->10.0.0.51:3308

db01

db02

db01

10.0.0.52:3310 ----->10.0.0.52:3308

db02

10.0.0.51:3310 ----->10.0.0.51:3308

db01

这个复制用户在谁上建都行

注：如果中间出现错误，在每个节点进行执行以下命令

常见方案：

360 Atlas-Sharding 360

Alibaba cobar 阿里

Mycat 开源

TDDL 淘宝

Heisenberg 百度

Oceanus 58同城

Vitess 谷歌

OneProxy

DRDS 阿里云

我们装的是openjdk，不是官方的那个

Mycat-server-xxxxx.linux.tar.gz

http://dl.mycat.io/

配置环境变量

我们mycat的命令也是在bin目录下

启动

8066就是对外提供服务的端口，9066是管理端口

连接mycat：

默认123456

db01:

我们一般先把原schema.xml备份，然后自己新写一个：

xml和html看起来差不多，xml是从下往上调用的

前三行我们不用看，直接从第四行schema开始看起：

定义了schema，然后以/schema结尾

为什么要用逻辑库？

业务透明化

此配置文件就是实现读写分离的配置

重启mycat

读写分离测试

总结：

以上案例实现了1主1从的读写分离功能，写 *** 作落到主库，读 *** 作落到从库.如果主库宕机，从库不能在继续提供服务了。

我们推荐这种架构

一写三读，

不设置双写的原因是：性能没提升多少，反而引起主键冲突的情况

配置文件：

之后重启：mycat restart

真正的 writehost：负责写 *** 作的writehost

standby writeHost ：和readhost一样，只提供读服务

我们此处写了两个writehost，默认使用第一个

当写节点宕机后，后面跟的readhost也不提供服务，这时候standby的writehost就提供写服务，

后面跟的readhost提供读服务

测试：

读写分离测试

对db01 3307节点进行关闭和启动,测试读写 *** 作

结果应为另一台(52)的3307(17)是写，3309(19)是读

一旦7号节点恢复，此时因为7落后了，写节点仍是17

balance属性

负载均衡类型，目前的取值有3种：

writeType属性

负载均衡类型，目前的取值有2种：

switchType属性

-1 表示不自动切换

1 默认值，自动切换

2 基于MySQL主从同步的状态决定是否切换，心跳语句为 show slave status

datahost其他配置

maxCon="1000"：最大的并发连接数

minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程，长连接，好处是连接速度快，弊端是占内存

tempReadHostAvailable="1"

这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时

<heartbeat>select user()</heartbeat> 监测心跳

其他参数sqlMaxLimit自动分页,必须在启用分表的情况下才生效

创建测试库和表:

我们重启mycat后连接到8066

发现跟一个库一样，实际上已经分到不同的物理硬件上了

分片：对一个"bigtable"，比如说t3表

热点数据表核心表

(1)行数非常多，800w下坡

(2)访问非常频繁

分片的目的：

（1）将大数据量进行分布存储

（2）提供均衡的访问路由

分片策略：

范围 range 800w 1-400w 400w01-800w 不适用于业务访问不均匀的情况

取模 mod(取余数) 和节点的数量进行取模

枚举按枚举的种类分，如移动项目按省份分

哈希 hash

时间流水

优化关联查询（否则join的表在不同分片上，效率会比单库还要低）

全局表

ER分片

案例：移动统一：先拆出边缘业务，再按地域分片，但对应用来说是统一的

vim rule.xml

<rule>

</rule>

<function name="rang-long"

class="io.mycat.route.function.AutoPartitionByLong">

<property name="mapFile">autopartition-long.txt</property>

</function>

===================================

vim autopartition-long.txt

0-10=0

11-20=1

创建测试表：

mysql -S /data/3307/mysql.sock -e "use taobaocreate table t3 (id int not null primary key auto_increment,name varchar(20) not null)"

mysql -S /data/3308/mysql.sock -e "use taobaocreate table t3 (id int not null primary key auto_increment,name varchar(20) not null)"

测试：

重启mycat

mycat restart

mysql -uroot -p123456 -h 127.0.0.1 -P 8066

insert into t3(id,name) values(1,'a')

insert into t3(id,name) values(2,'b')

insert into t3(id,name) values(3,'c')

insert into t3(id,name) values(4,'d')

insert into t3(id,name) values(11,'aa')

insert into t3(id,name) values(12,'bb')

insert into t3(id,name) values(13,'cc')

insert into t3(id,name) values(14,'dd')

取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点

vim schema.xml

vim rule.xml

准备测试环境

创建测试表：

mysql -S /data/3307/mysql.sock -e "use taobaocreate table t4 (id int not null primary key auto_increment,name varchar(20) not null)"

mysql -S /data/3308/mysql.sock -e "use taobaocreate table t4 (id int not null primary key auto_increment,name varchar(20) not null)"

重启mycat

mycat restart

测试：

mysql -uroot -p123456 -h10.0.0.52 -P8066

use TESTDB

insert into t4(id,name) values(1,'a')

insert into t4(id,name) values(2,'b')

insert into t4(id,name) values(3,'c')

insert into t4(id,name) values(4,'d')

分别登录后端节点查询数据

mysql -S /data/3307/mysql.sock

use taobao

select * from t4

mysql -S /data/3308/mysql.sock

use taobao

select * from t4

t5 表

id name telnum

1 bj 1212

2 sh 22222

3 bj 3333

4 sh 44444

5 bj 5555

sharding-by-intfile

vim schema.xml

vim rule.xml

</rule>

</tableRule>

<property name="mapFile">partition-hash-int.txt</property>

</function>

partition-hash-int.txt 配置：

bj=0

sh=1

DEFAULT_NODE=1

columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称

准备测试环境

mysql -S /data/3307/mysql.sock -e "use taobaocreate table t5 (id int not null primary key auto_increment,name varchar(20) not null)"

mysql -S /data/3308/mysql.sock -e "use taobaocreate table t5 (id int not null primary key auto_increment,name varchar(20) not null)"

重启mycat

mycat restart

mysql -uroot -p123456 -h10.0.0.51 -P8066

use TESTDB

insert into t5(id,name) values(1,'bj')

insert into t5(id,name) values(2,'sh')

insert into t5(id,name) values(3,'bj')

insert into t5(id,name) values(4,'sh')

insert into t5(id,name) values(5,'tj')

a b c d

join

select t1.name ,t.x from t1

join t

select t2.name ,t.x from t2

join t

select t3.name ,t.x from t3

join t

使用场景：

如果你的业务中有些数据类似于数据字典，比如配置文件的配置，

常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，

而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，

要在所有的分片上保存一份数据即可，Mycat 在Join *** 作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，

避免跨库Join，在进行数据插入 *** 作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。

vim schema.xml

后端数据准备

mysql -S /data/3307/mysql.sock

use taobao

create table t_area (id int not null primary key auto_increment,name varchar(20) not null)

mysql -S /data/3308/mysql.sock

use taobao

create table t_area (id int not null primary key auto_increment,name varchar(20) not null)

重启mycat

mycat restart

测试：

mysql -uroot -p123456 -h10.0.0.52 -P8066

use TESTDB

insert into t_area(id,name) values(1,'a')

insert into t_area(id,name) values(2,'b')

insert into t_area(id,name) values(3,'c')

insert into t_area(id,name) values(4,'d')

join

为了防止跨分片join，可以使用E-R模式

A join B

on a.xx=b.yy

join C

on A.id=C.id

</table>

mycat常用后端管理命令

首先通过show @@helap就可以大致的了解Mycat 管理端口的常用命令(dbserver.xml配置)！

mysql>show @@help

+------------------------------------------+--------------------------------------------+

| STATEMENT | DESCRIPTION |

+------------------------------------------+--------------------------------------------+

| show @@time.current | Report current timestamp |

| show @@time.startup | Report startup timestamp |

| show @@version | Report Mycat Server version |

| show @@server | Report server status |

| show @@threadpool | Report threadPool status |

| show @@database | Report databases |

| show @@datanode | Report dataNodes |

| show @@datanode where schema = ? | ReportdataNodes |

| show @@datasource | Report dataSources |

| show @@datasource where dataNode = ? | Report dataSources |

| show @@datasource.synstatus |Report datasource data synchronous |

| show @@datasource.syndetail where name=? | Report datasource data synchronousdetail |

| show @@datasource.cluster | Report datasource galary cluster variables |

| show @@processor | Report processor status |

| show @@command | Report commands status |

| show @@connection | Report connection status |

| show @@cache | Report system cache usage |

| show @@backend | Report backend connection status |

| show @@session | Report front session details |

| show @@connection.sql | Report connection sql |

| show @@sql.execute | Report execute status |

| show @@sql.detail where id = ? | Reportexecute detail status |

| show @@sql | Report SQL list |

| show @@sql.high | Report Hight Frequency SQL |

| show @@sql.slow | Report slow SQL |

| show @@sql.resultset | Report BIG RESULTSET SQL |

| show @@sql.sum | Report User RW Stat |

| show @@sql.sum.user | Report User RW Stat |

| show @@sql.sum.table | Report Table RW Stat |

| show @@parser | Report parser status |

| show @@router | Report router status |

| show @@heartbeat | Report heartbeat status |

| show @@heartbeat.detail where name=? | Report heartbeat currentdetail |

| show @@slow where schema = ? |Report schema slow sql |

| show @@slow where datanode = ? | Reportdatanode slow sql |

| show @@sysparam | Report system param |

| show @@syslog limit=? | Report system mycat.log |

| show @@white | show mycat white host |

| show @@white.set=?,? | set mycat white host,[ip,user] |

| show @@directmemory=1 or 2 |show mycat direct memory usage |

| switch @@datasource name:index | SwitchdataSource |

| kill @@connection id1,id2,... | Killthe specified connections |

| stop @@heartbeat name:time |Pause dataNode heartbeat |

| reload @@config | Reload basic config from file |

| reload @@config_all | Reload all config from file |

| reload @@route | Reload route config from file |

| reload @@user | Reload user config from file |

| reload @@sqlslow= | Set Slow SQL Time(ms) |

| reload @@user_stat | Reset show @@sql @@sql.sum @@sql.slow |

| rollback @@config | Rollback all config from memory |

| rollback @@route | Rollback route config from memory |

| rollback @@user | Rollback user config from memory |

| reload @@sqlstat=open | Open real-time sql stat analyzer |

| reload @@sqlstat=close | Close real-time sql stat analyzer |

| offline | Change MyCat status to OFF |

| online | Change MyCat status to ON |

| clear @@slow where schema = ? |Clear slow sql by schema |

| clear @@slow where datanode = ? | Clearslow sql by datanode |

+------------------------------------------+--------------------------------------------+

58 rows in set (0.00 sec)

1、连接mycat 9066管理端口

命令：mysql -uusername -ppasswd -P9066 -hIP

-u:用户名

-p:密码

-P:端口

-h:ip地址例：linux路径切换到mycat安装路径的bin目录中：输入命令

显示如此则登录成功。

2、显示后端物理库连接信息，包括当前连接数，端口等信息。

　　命令：Show @@backend

3、显示当前前端客户端连接情况

命令：Show @@connection

4、当前线程池的执行情况，是否有积压(active_count)以及task_queue_size，后者为积压的待处理的SQL，若积压数目一直保值，

则说明后端物理连接可能不够或者SQL执行比较缓慢

命令：show @@threadpool

5、当前后端物理库的心跳检测情况,RS_CODE为1表示心跳正常

命令：show @@heartbeat

6、显示数据节点的访问情况，包括每个数据节点当前活动连接数(active),空闲连接数（idle）以及最大连接数(maxCon) size，EXECUTE参数表示从该节点获取连接的次数，

次数越多，说明访问该节点越多

命令：show @@datanode

6、显示当前processors的处理情况，包括每个processor的IO吞吐量(NET_IN/NET_OUT)、IO队列的积压情况(R_QUEY/W_QUEUE)，Socket Buffer Pool的使用情况

BU_PERCENT为已使用的百分比、BU_WARNS为Socket Buffer Pool不够时，临时创建的新的BUFFER的次数，若百分比经常超过90%并且BU_WARNS>0，则表明BUFFER

不够，需要增大，参见性能调优手册。

命令：show @@processor

7、显示缓存的使用情况，对于性能监控和调优很有价值

命令：show @@cache

MAX为缓存的最大值（记录个数），CUR为当前已经在缓存中的数量，ACESS为缓存读次数，HIT为缓存命中次数，PUT 为写缓存次数，LAST_XX为最后 *** 作时间戳，比较重要的几个参数：CUR：若CUR接近MAX，而PUT大于MAX很多，则表明MAX需要增大，HIT/ACCESS为缓存命中率，这个值越高越好。

8、杀掉客户端的连接，参数为连接的ID值，通过show @@connection，可以展示当前连接到MyCAT的所有客户端进程，若某个进程异常，则可以通过该命令杀掉连接，如 KILL @@CONNECTION26907

9、重新加载配置文件schema.xml

如果我们在原有的schema.xml中进行了修改，需要重新加载该文件使其生效。

命令：reload @@config

Mycat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。

数据库系统（databasesystems），是由数据库及其管理软件组成的系统。主要包括 *** 作系统、各种宿主语言、实用程序以及数据库管理系统。数据库系统DBS（DataBaseSystem，简称DBS）通常由软件、数据库和数据管理员组成。其软件主要包括 *** 作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数据库管理系统统一管理，数据的插入、修改和检索均要通过数据库管理系统进行。数据管理员负责创建、监控和维护整个数据库，使数据能被任何有权使用的人有效使用。数据库管理员一般是由业务水平较高、资历较深的人员担任。

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/zaji/8551970.html

MySQL Mycat 分布式架构

发表评论

评论列表（0条）