mysql分表不均怎么解决

数据分库表扩容-数据不均匀问题 原创

2021-12-22 22:18:13

这是王姑娘的微博

码龄10年

关注

假如前期分三个库，一个库两个表，项目火爆，数据量激增，进行扩容

增加了新的数据库表位，会导致旧的库表比新的库表数据量多，且容易出现超载情况

解决方式思想：

不同的库表位分配的概率不一样，性能好的机器和数据量少的机器提高分配几率，类似的中间件应用场景有nginx

类似这种：

Nginx常见的负载均衡策略

节点轮询（默认）

weight 权重配置

简介：weight和访问比率成正比，数字越大，分配得到的流量越高

场景：服务器性能差异大的情况使用

upstream lbs {

server 192.168.159.133:8080 weight=5

server 192.168.159.133:8081 weight=10

}

在分库表中的加权解决方式，目前想到的几种方案：

库表位可以使用对象形式，配置权重，避免数据倾斜、数据集中(思考中...)

编写算法，根据不同的，配置权重，不同的库表位配置不同的权重(思考中...)

加权配置，list重复添加出现的高频的库表位(更改速度最快)

例如：dbPrefixList.add("0")dbPrefixList.add("1")dbPrefixList.add("a")

这三个库是第一批增加的，已经到了900多万单表量。现在准备进行扩容，那么实现方式如下:

扩容库位b,c,d

/**

* 获取随机的前缀

* @return

*/

public static String getRandomDBPrefix(){

int index = random.nextInt(dbPrefixList.size())

return dbPrefixList.get(index)

}

这样在获取随机库位的时候，0,1,a获取到的概率会低点，相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。

给你举个例子，你自己按照你所在当前表的情况来进行查询。例如：select 列1 avg(列2) as xz from 表 group by 列1 order by xz desc 解释：avg()函数是求某列的平均值，group by是对某列分组，按照SQL标准，分组要和聚合函数一起配合使用才有意义[虽然在mysql中不会报错]。order by xz desc表示的是对xz进行降序，就可以把最高的平均值算出来。

很多产品想要加入推荐系统模块，最简单的就是做内容相似推荐，虽然技术简单但是效果却很好，对于增加用户粘性、提升用户留存有较多的效果，甚至很多产品后来加入了很多推荐模块之后，还是发现导流效果最好的依然是内容的相似推荐。

比如看完了一片《Python怎样读取MySQL》之后，在相似推荐中看到了一片题目为《Python *** 作MySQL的效果优化》的文章，很自然的就像多深入了解一下，于是就点进去看一看，那么对于整个网站来说，就会降低跳出率，增加用户的留存，是一个很好的用户体验。

实现一个内容相似推荐的方案比较简单，大体上包含以下步骤：

1、获取内容数据，比如标题、关键字、分类、甚至全文本；

一般文档、数据等内容都存储于mysql，可以使用python/java等语言直接读取mysql导出到文件.txt格式，或者直接用shell的mysql -e sql >data.txt的方式导出。

一般情况下，全文本内容太散，不会作为候选字段，但是有些视频之类的实体，因为标题和简介文字太少，如果有详情全文本的话，也可以加入候选数据字段。

2、对内容数据做中文分词；

如果是python语言，可以使用“结巴分词”，地址为： https://github.com/fxsjy/jieba

或者可以直接使用百度云的中文分词，百度的NLP自然语言处理技术还是很厉害的。

3、提取内容数据的关键词；

当分词之后，分词结果中包含很多“的”、“也”等无意义的词语，这些词语不能称之为关键词，一般会通过TF/IDF的方法计算每个词语的权重，将一个文档的所有词语的TF/IDF权重倒序排列，取TOPN个作为关键词；

如果使用的是jieba分词，那么直接就自带了提取关键词的支持；当然也可以自己计算，TF就是计算一篇文章中每个词语出现的次数、IDF就是这个词语在所有文章中出现的次数，TF除以IDF就是权重值；

4、将关键词映射成数字向量；

我们最终的目标是计算文档之间的相似度，要计算相似度那就需要把内容映射成向量，第一步就是先把每个词语映射成向量，映射的方式有几种：

使用one hot方法映射成向量

自己训练word2vec密度向量；

使用业界的训练好的word2vec向量

一般情况下，自己的数据集比较小，效果会比业界的word2vec效果差一些，比如这里推荐腾讯开源的200维度全网word2vec向量，地址在： https://ai.tencent.com/ailab/nlp/embedding.html

5、计算文档粒度的数字向量；

得到每个词语的向量之后，通过加权平均的方式可以计算整个文档的向量；

权重可以使用每个词语的频率次数归一化，或者直接平均即可；

6、计算文档之间的相似度；

使用cosin算法就能够计算文档向量之间的相似度；

cosin算法很简单，java、python自己实现就可以，也可用https://scikit-learn.org或者http://surpriselib.com/中的相似度计算模块直接调用实现。

计算完之后，对于每个文档，将它跟每个文档的相似度做倒序排列，比如TOP 30个作为推荐的结果集合。

7、将文档的相似度关系存入mysql/redis等缓存；

第6步骤会得到一个这样的结果：(文档ID、相似文档ID列表)，将这样的数据直接存入mysql或者redis，key就是文档ID，value是相似文档ID列表即可。

8、当页面展示一个内容的时候，提取相似推荐进行展示；

当用户访问一个页面的时候，后端服务python/java从缓存redis或者mysql中根据展示的页面的文档ID，提取相似ID列表；

因为前几步骤是提前计算好的列表，这里也可能做一些过滤已下线的事情，然后根据ID提取对应的标题、简介等信息，组装成相似推荐列表返回给前端即可；

总结

以上就是离线计算相似推荐的步骤，其实还可以用在线的方式进行，把这个问题按照搜索的架构实现即可，新来一个文档就分词、计算关键词列表存储，然后每次访问的时候根据关键词列表查询相同关键词列表的文档也可以实现。

当相似内容推荐上线后，就能够不断积累一些用户点击、查看文档的行为数据，基于行为数据就能训练协同过滤的模型，实现内容不相似但是行为相似的协同过滤推荐。

---