mysql分表不均怎么解决

数据分库表扩容-数据不均匀问题 原创

2021-12-22 22:18:13

这是王姑娘的微博

码龄10年

关注

假如前期分三个库，一个库两个表，项目火爆，数据量激增，进行扩容

增加了新的数据库表位，会导致旧的库表比新的库表数据量多，且容易出现超载情况

解决方式思想：

不同的库表位分配的概率不一样，性能好的机器和数据量少的机器提高分配几率，类似的中间件应用场景有nginx

类似这种：

Nginx常见的负载均衡策略

节点轮询（默认）

weight 权重配置

简介：weight和访问比率成正比，数字越大，分配得到的流量越高

场景：服务器性能差异大的情况使用

upstream lbs {

server 192.168.159.133:8080 weight=5

server 192.168.159.133:8081 weight=10

}

在分库表中的加权解决方式，目前想到的几种方案：

库表位可以使用对象形式，配置权重，避免数据倾斜、数据集中(思考中...)

编写算法，根据不同的，配置权重，不同的库表位配置不同的权重(思考中...)

加权配置，list重复添加出现的高频的库表位(更改速度最快)

例如：dbPrefixList.add("0")dbPrefixList.add("1")dbPrefixList.add("a")

这三个库是第一批增加的，已经到了900多万单表量。现在准备进行扩容，那么实现方式如下:

扩容库位b,c,d

/**

* 获取随机的前缀

* @return

*/

public static String getRandomDBPrefix(){

int index = random.nextInt(dbPrefixList.size())

return dbPrefixList.get(index)

}

这样在获取随机库位的时候，0,1,a获取到的概率会低点，相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。

select

*

from

shipmentlist,shipmentscrib

where

(shipmentlist.shipmentlistno=shipmentscrib.shipmentlistno)

and (year(shipmentlist.shipmentdate)=year(now()))

and (month(shipmentlist.shipmentdate)=month(now())

or month(shipmentlist.shipmentdate)=month(now())-1 )

ORDER BY shipmentdate DESC

格式化了一下你的SQL，分析一下。

假如今天是 2012年1月1日。

那么上面的条件。

将变为

year = 2012 and month = 1 OR month = 0

其实，对于 查询 当月和上一月

相当于

shipmentlist.shipmentdate >= 上月的1号

AND shipmentlist.shipmentdate <下月的1号

LAST_DAY(NOW()) 可以获取 本月的最后一天.

DATE_ADD( LAST_DAY(NOW()) INTERVAL 1 DAY ) 可以获取下月第一天。

DATE_SUB ( DATE_ADD( LAST_DAY(NOW()) INTERVAL 1 DAY ) INTERVAL 2 MONTH ) 可以获取上月的1号

（也就是用 下月的1号 减少2个月，从而获取 上月的1号）

最后 SQL 修改为：

select

*

from

shipmentlist,shipmentscrib

where

(shipmentlist.shipmentlistno=shipmentscrib.shipmentlistno)

and shipmentlist.shipmentdate >= DATE_SUB ( DATE_ADD( LAST_DAY(NOW()) INTERVAL 1 DAY ) INTERVAL 2 MONTH )

AND shipmentlist.shipmentdate <DATE_ADD( LAST_DAY(NOW()) INTERVAL 1 DAY )

ORDER BY shipmentdate DESC

---