从站点到平台——探讨服务端高并发分布式架构演进

从站点到平台——探讨服务端高并发分布式架构演进,第1张

首先要确定你的目标,所谓千万级是每秒千万次查询还是千万条记录的数据库,前者是一个极其复杂的,这个不是光告mysql能解决的,我想不是前者,而后者却是很简单的一件事,前提是定义高效,定义两个指标:

1,每秒查询的次数是多少

2,每次查询时长

确定好以后再考虑以下几个因素的优化

1,存储的类型,SSD比普通磁盘的随机读写能力可以提高不少,一般2到3个数量级,还要看索引和数据块的大小,比较复杂

2,先择RAID类型,如果选raid0和raid10可以提升近似1倍的速度

3,使用高带宽的网速,可以减少网络传输延迟,用10g的光纤比1g的电缆理论上可以提升1个数量级的吞吐量,尤其对大数据据量的结果集特别有效

4,合理的索引,带条件的检索字段加上索引

5,用大宽表,尽可能减少多表关联查询,用空间换时间吧

6,_用主从的集群,基本上查询的并发量和服务器的数量成正比的

7,使用缓存,如memcached,尤其对静态数据提升尤其明显

8,合理选择数据库字段的类型,用定长字字,不要用变长的,如定长的int,char,decimal类型,别用varchar,text等

9,给数据库配置更大的内存

10,检查下瓶颈在不在CPU,如果查询复杂,换个更高配置的服务器

总的原刚就是,尽可能用内存替代碰盘提升IO速度,提高网络和CPU的配置以减少查询时间;尽可能提升网络速度,内存和主机的数量以提高并发

我们先探讨非高并发量的实现。

对于查询频次较高的字段,加上索引。

加索引注意事项:

1对那些字符内容较长的最好不要加索引

2按照官方文档,单表加的索引不要超过16个,索引的长度不要超过256个字节。

随意加索引,会给数据维护增加负担

其实,可以引入分区

分区注意事项:

1常见的分区类型有range,list,hash,key等。用的比较多的就是range分区。

2对于初始建立索引的时候,我们往往会忽视一个前提条件,导致添加失败报错。

这里的前提是,如果表是有主键的,分区的键和主键不是同一个,那么分区的键也必须是主键。

引入分区后,数据写入时,数据库会自动判断写入哪个分区

对于并发量较高的,我们除了做上面的 *** 作外,就要考虑分库分表或者采用一主多从的方式。

未来我相信这类问题需要采用NewSQl这类数据库来解决,如TiDb等,此时,我们将不必考虑数据分区的问题,而且可以做到数据水平无限扩展,和热点数据的动态分布。

TiDB
可随着你的业务增长而伸缩,只需要通过增加更多的机器来满足业务增长需要
异步的
schema
调整
TiDB
scheme
可随时进行调整来满足需求,添加列和索引并不会影响进行中的 *** 作
一致性的分布式事务
你可以把
TiDB
想象成一个单机的
RDBMS,而事务可以在多服务器间进行,无需担心一致性问题。TiDB
让你的应用代码简单而且可靠
兼容
mysql
协议
你可以像使用
MySQL
一样来使用
TiDB,你可以使用
TiDB
来替换
MySQL
来服务你的业务,而绝大多情况下无需修改一行代码。
采用
Go
语言开发


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/12858906.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-28
下一篇 2023-05-28

发表评论

登录后才能评论

评论列表(0条)

保存