数据库有几十万条数据,求高手指点如何处理并发

数据库有几十万条数据,求高手指点如何处理并发,第1张

如果有20万条数据,5分钟内处理完成,那么每秒最少要处理600多条数据。你这个瓶颈在三个方面:

本地数据库读写,你这个需要数据库表不人导致死锁的,这个可以通过堆硬件性能(IO和CPU主频),数据库做好对应的索引提升查询速度,返回的结果先缓存到redis里,然后再写回去,应该是可以解决的

提交速度,每秒提交600条,这个靠单线程是肯定解决不了的,这需要多任务多线程处理。。。最好的方式是第三方网站可以批量查询

你以这么快的速度提交过去,第三方接口不一定能处理完成,可能有QPS限速的。这就不是你解决的了,需要第三方提升性能。

原因有很多,比如一楼的磁盘空间满了;还有二楼的引擎模式;还有你数据库里面的数据类型,如果存储的数据类似大量的文本,一次用select 查询的话,1G的内存恐怕有点危险咯,加上计算机中其他的服务占用内存等等。

尝试看简单的查询,或者是根据索引来查询试试看速度,实现起来速度慢的话,打开你的进程来看资源占用,没有异常,那就扩内存咯

路过~


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/sjk/10018501.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-04
下一篇 2023-05-04

发表评论

登录后才能评论

评论列表(0条)

保存