如果有20万条数据,5分钟内处理完成,那么每秒最少要处理600多条数据。你这个瓶颈在三个方面:
本地数据库读写,你这个需要数据库表不人导致死锁的,这个可以通过堆硬件性能(IO和CPU主频),数据库做好对应的索引提升查询速度,返回的结果先缓存到redis里,然后再写回去,应该是可以解决的
提交速度,每秒提交600条,这个靠单线程是肯定解决不了的,这需要多任务多线程处理。。。最好的方式是第三方网站可以批量查询
你以这么快的速度提交过去,第三方接口不一定能处理完成,可能有QPS限速的。这就不是你解决的了,需要第三方提升性能。
原因有很多,比如一楼的磁盘空间满了;还有二楼的引擎模式;还有你数据库里面的数据类型,如果存储的数据类似大量的文本,一次用select 查询的话,1G的内存恐怕有点危险咯,加上计算机中其他的服务占用内存等等。尝试看简单的查询,或者是根据索引来查询试试看速度,实现起来速度慢的话,打开你的进程来看资源占用,没有异常,那就扩内存咯
路过~
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)