mysql分表不均怎么解决

数据分库表扩容-数据不均匀问题 原创

2021-12-22 22:18:13

这是王姑娘的微博

码龄10年

关注

假如前期分三个库，一个库两个表，项目火爆，数据量激增，进行扩容

增加了新的数据库表位，会导致旧的库表比新的库表数据量多，且容易出现超载情况

解决方式思想：

不同的库表位分配的概率不一样，性能好的机器和数据量少的机器提高分配几率，类似的中间件应用场景有nginx

类似这种：

Nginx常见的负载均衡策略

节点轮询（默认）

weight 权重配置

简介：weight和访问比率成正比，数字越大，分配得到的流量越高

场景：服务器性能差异大的情况使用

upstream lbs {

server 192.168.159.133:8080 weight=5

server 192.168.159.133:8081 weight=10

}

在分库表中的加权解决方式，目前想到的几种方案：

库表位可以使用对象形式，配置权重，避免数据倾斜、数据集中(思考中...)

编写算法，根据不同的，配置权重，不同的库表位配置不同的权重(思考中...)

加权配置，list重复添加出现的高频的库表位(更改速度最快)

例如：dbPrefixList.add("0")dbPrefixList.add("1")dbPrefixList.add("a")

这三个库是第一批增加的，已经到了900多万单表量。现在准备进行扩容，那么实现方式如下:

扩容库位b,c,d

/**

* 获取随机的前缀

* @return

*/

public static String getRandomDBPrefix(){

int index = random.nextInt(dbPrefixList.size())

return dbPrefixList.get(index)

}

这样在获取随机库位的时候，0,1,a获取到的概率会低点，相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。

1. 添加监控MySQL状态的端口

# vi

/etc/servicesmysqlcheck

6033/tcp

# MySQL status

check

2. 使用xinetd守护进程运行MySQL状态检测

# cat /etc/xinetd.d/mysqlchk

service mysqlcheck

{

disable = no

flags = REUSE

socket_type = stream

port= 6033

wait= no

user= root

server = /usr/local/haproxy/sbin/mysqlchk_status.sh

log_on_failure += USERID

}

3. 状态检测脚本

# vi /usr/local/haproxy/sbin/mysqlchk_status.sh

#/bin/bash

MYSQL_HOST="localhost"

MYSQL_PORT="3306"

MYSQL_USERNAME="root"

MYSQL_PASSWORD="123456"

ERROR_MSG=/usr/bin/mysql --host=$MYSQL_HOST --port=$MYSQL_PORT

--user=$MYSQL_USERNAME --password=$MYSQL_PASSWORD -e "show databases"

if [ "$ERROR_MSG" != "" ]

then

# mysql is fine, return http 200

/bin/echo -e "HTTP/1.1 200 OK\r\n"

/bin/echo -e "Content-Type: Content-Type: text/plain\r\n"

/bin/echo -e "\r\n"

/bin/echo -e "MySQL is running.\r\n"

/bin/echo -e "\r\n"

else

# mysql is fine, return http 503

/bin/echo -e "HTTP/1.1 503 Service Unavailable\r\n"

/bin/echo -e "Content-Type: Content-Type: text/plain\r\n"

/bin/echo -e "\r\n"

/bin/echo -e "MySQL is *down*.\r\n"

/bin/echo -e "\r\n"

fi

# chown haproxy.haproxy /usr/local/haproxy/sbin/mysqlchk_status.sh

4. HAproxy日志

# touch /var/log/haproxy.log

# chown haproxy.haproxy /var/log/haproxy.log

编辑/etc/syslog.conf文件，添加如下语句

local0.* /var/log/haproxy.log

5. HAProxy配置文件

[root@localhost htdocs]# cat /usr/local/haproxy/conf/haproxy.conf

global

maxconn 4096

daemon

pidfile /usr/local/haproxy/run/haproxy.pid

#debug

#quiet

user haproxy

group haproxy

defaults

log global

modehttp

option httplog

option dontlognull

log 127.0.0.1 local0

retries 3

option redispatch

maxconn 2000

contimeout 5000

clitimeout 50000

srvtimeout 50000

listen admin_stats 192.168.0.1:80

modehttp

stats uri /dbs

stats realm Global\ statistics

stats auth test:123456

listen proxy-mysql 0.0.0.0:23306

mode tcp

balance roundrobin

option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www

server db01 192.168.0.1:3306 weight 1 check port 6033 inter 1s rise 2 fall 2

server db02 192.168.0.2:3306 weight 1 check port 6033 inter 1s rise 2 fall 2

option tcpka

6. HAProxy启动脚本

# cat /etc/init.d/haproxy

#! /bin/sh

set -e

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/haproxy/sbin

PROGDIR=/usr/local/haproxy

PROGNAME=haproxy

DAEMON=$PROGDIR/sbin/$PROGNAME

CONFIG=$PROGDIR/conf/$PROGNAME.conf

PIDFILE=$PROGDIR/run/$PROGNAME.pid

DESC="HAProxy daemon"

SCRIPTNAME=/etc/init.d/$PROGNAME

# Gracefully exit if the package has been removed.

test -x $DAEMON || exit 0

start()

{

echo -n "Starting $DESC: $PROGNAME"

$DAEMON -f $CONFIG

echo "."

}

stop()

{

echo -n "Stopping $DESC: $PROGNAME"

haproxy_pid=cat $PIDFILE

kill $haproxy_pid

echo "."

}

restart()

{

echo -n "Restarting $DESC: $PROGNAME"

$DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)

echo "."

}

case "$1" in

start)

start

stop)

stop

restart)

restart

*)

echo "Usage: $SCRIPTNAME {start|stop|restart}" >&2

exit 1

esac

exit 0

---