数据条数太多,插入到数据库有延迟,怎么解决

数据条数太多,插入到数据库有延迟,怎么解决,第1张

1.我们往数据库中导入的数据通常是有固定的模板的,也就是有列头,但是可能excel中的一条数据分布存储在不同的数据表中,那么我们怎么来导入了,我们可以在类文件中直接拼接sql语句插入,这样做的话我认为比较麻烦。我的做法是:在数据中建一个中间表暂且叫做Temp表跟excel中列一一对应,其中表中多加state列用来标识数据验证失败还是成功的(0代表数据没有问题,-1代表有问题)、failReason记录导入失败原因,然后再添加一个配置文件来做excel列和数据表的映射。 2.要导入的数据通常要做验证,那些不符合导入规则的数据时不允许或者不能导入的。我把数据分两步来验证,一部分在代码段验证,一部分在数据库验证。至于怎么分那就自己去根据情况分析了。我是把诸如字符长度限制,正则表达式规则限制等放 在代码段验证,把诸如数据库中字典值是否存在等要访问数据库的验证放在数据中验证,这样的话就可以减少访问数据库的次数。把再客户端验证过的数据,不管是通过的不同过的都插入到temp表中,只是state值不同。 3.然后怎么把插入temp中数据分别插入到不同的数据表中了,大家一定想到了触发器,没有错,我用的就是after触发器,在我把excel中的数据插入到temp表中的时候,那么就会触发after触发器,在触发器中对插入的数据进行处理,如果插入的数据state值为-1,代表在代码端的验证就没有通过,那么就不需要进行下一步处理了,如果state值为0,那么在触发器中接着处理,比如检测字典值在字典表中存不存在等,如果不满足要求就把temp表中的当前插入的记录state值改成-1,把校验失败原因更新到failReason字段中,不再处理。如果一切校验都没有问题的话,那么就编写插入语句,把数据插入到不同的表中去。 4.数据导入完成了,那么那些有问题数据怎么办了?把它查询出来生成一个按原模板后加一列“失败原因”导成excel文件,其实就是state值为-1的那些记录,然后返回给用户查看。 通过以上步骤之后那么整个导入功能就完成了,以上只是一种思路,望大家完善。 本站技术原创栏目文章均为中睿原创或编译,

你是用insert语句,还是用oracle的导入功能?

反正插入数据快的话,你先把索引的语句备份一下,然后全部drop掉

然后再执行插入 *** 作,插入结束后再建立索引

反正这事也快不了,你先看看我说的那种得多长时间吧

有几种提供参考:

1如果只有一个用户,改为单机版

2另建新数据库,原数据库做被查用,把常用的数据放在新数据库里,旧的保留极少用的。

3改用SQL等大型数据库系统


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11955037.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-19
下一篇 2023-05-19

发表评论

登录后才能评论

评论列表(0条)

保存