2021-12-22 22:18:13
这是王姑娘的微博
码龄10年
关注
假如前期分三个库,一个库两个表,项目火爆,数据量激增,进行扩容
增加了新的数据库表位,会导致旧的库表比新的库表数据量多,且容易出现超载情况
解决方式思想:
不同的库表位分配的概率不一样,性能好的机器和数据量少的机器提高分配几率,类似的中间件应用场景有nginx
类似这种:
Nginx常见的负载均衡策略
节点轮询(默认)
weight 权重配置
简介:weight和访问比率成正比,数字越大,分配得到的流量越高
场景:服务器性能差异大的情况使用
upstream lbs {
server 192.168.159.133:8080 weight=5
server 192.168.159.133:8081 weight=10
}
在分库表中的加权解决方式,目前想到的几种方案:
库表位可以使用对象形式,配置权重,避免数据倾斜、数据集中(思考中...)
编写算法,根据不同的,配置权重,不同的库表位配置不同的权重(思考中...)
加权配置,list重复添加出现的高频的库表位(更改速度最快)
例如:dbPrefixList.add("0")dbPrefixList.add("1")dbPrefixList.add("a")
这三个库是第一批增加的,已经到了900多万单表量。现在准备进行扩容,那么实现方式如下:
扩容库位b,c,d
/**
* 获取随机的前缀
* @return
*/
public static String getRandomDBPrefix(){
int index = random.nextInt(dbPrefixList.size())
return dbPrefixList.get(index)
}
这样在获取随机库位的时候,0,1,a获取到的概率会低点,相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。
Linux上MySQL优化提升性能,可以优化关闭NUMA特性如下:
这些其实都源于CPU最新的技术:节能模式。 *** 作系统和CPU硬件配合,系统不繁忙的时候,为了节约电能和降低温度,它会将CPU降频。
为了保证MySQL能够充分利用CPU的资源,建议设置CPU为最大性能模式。这个设置可以在BIOS和 *** 作系统中设置,当然,在BIOS中设置该选项更好,更彻底。
然后我们看看内存方面,我们有哪些可以优化的。
i)我们先看看numa
非一致存储访问结构(NUMA:Non-UniformMemoryAccess)也是最新的内存管理技术。它和对称多处理器结构(SMP:SymmetricMulti-Processor)是对应的。
我们可以直观的看到:SMP访问内存的都是代价都是一样的但是在NUMA架构下,本地内存的访问和非本地内存的访问代价是不一样的。对应的根据这个特性, *** 作系统上,我们可以设置进程的内存分配方式。目前支持的方式包括:
--interleave=nodes
--membind=nodes
--cpunodebind=nodes
--physcpubind=cpus
--localalloc
--preferred=node
简而言之,就是说,你可以指定内存在本地分配,在某几个CPU节点分配或者轮询分配。除非是设置为--interleave=nodes轮询分配方式,即内存可以在任意NUMA节点上分配这种方式以外。其他的方式就算其他NUMA节点上还有内存剩余,Linux也不会把剩余的内存分配给这个进程,而是采用SWAP的方式来获得内存。
所以最简单的方法,还是关闭掉这个特性。
关闭特性的方法,分别有:可以从BIOS, *** 作系统,启动进程时临时关闭这个特性。
a)由于各种BIOS类型的区别,如何关闭NUMA千差万别,我们这里就不具体展示怎么设置了。
b)在 *** 作系统中关闭,可以直接在/etc/grub.conf的kernel行最后添加numa=off,如下所示:
kernel/vmlinuz-2.6.32-220.el6.x86_64roroot=/dev/mapper/VolGroup-rootrd_NO_LUKS.UTF-8rd_LVM_LV=VolGroup/rootrd_NO_MDquietSYSFONT=latarcyrheb-sun16rhgbcrashkernel=autord_LVM_LV=VolGroup/swaprhgbcrashkernel=autoquietKEYBOARDTYPE=pcKEYTABLE=usrd_NO_DMnuma=off
另外可以设置vm.zone_reclaim_mode=0尽量回收内存。
c)启动MySQL的时候,关闭NUMA特性:
numactl--interleave=allmysqld
当然,最好的方式是在BIOS中关闭。
ii)我们再看看vm.swappiness。
vm.swappiness是 *** 作系统控制物理内存交换出去的策略。它允许的值是一个百分比的值,最小为0,最大运行100,该值默认为60。vm.swappiness设置为0表示尽量少swap,100表示尽量将inactive的内存页交换出去。
具体的说:当内存基本用满的时候,系统会根据这个参数来判断是把内存中很少用到的inactive内存交换出去,还是释放数据的cache。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)