mysql 数据量超过百万后怎么处理

mysql 数据量超过百万后怎么处理,第1张

我们经常会遇到 *** 作一张大表,发现 *** 作时间过长或影响在线业务了,想要回退大表 *** 作的场景。在我们停止大表 *** 作之后,等待回滚是一个很漫长的过程,尽管你可能对知道一些缩短时间的方法,处于对生产环境数据完整性的敬畏,也会选择不做介入。最终选择不作为的原因大多源于对 *** 作影响的不确定性。实践出真知,下面针对两种主要提升事务回滚速度的方式进行验证,一种是提升 *** 作可用内存空间,一种是通过停实例,禁用 redo 回滚方式进行进行验证。

仔细阅读过官方手册的同学,一定留意到了对于提升大事务回滚效率,官方提供了两种方法:一是增加 innodb_buffer_pool_size 参数大小,二是合理利用 innodb_force_recovery=3 参数,跳过事务回滚过程。第一种方式比较温和,innodb_buffer_pool_size 参数是可以动态调整的,可行性也较高。第二种方式相较之下较暴力,但效果较好。

两种方式各有自己的优点,第一种方式对线上业务系统影响较小,不会中断在线业务。第二种方式效果更显著,会短暂影响业务连续,回滚所有没有提交的事务。

mysql处理大数据很困难吧,不建议使用mysql来处理大数据。

mysql有个针对大数据的产品,叫infobright,可以看看,不过好像是收费的。

或者研究下,Hadoop,Hive等,可处理大数据。

如果有预算,可以使用一些商业大数据产品,国内的譬如永洪科技的大数据BI产品,不仅能高性能处理大数据,还可做数据分析。

当然如果是简单的查询,mysql如果做好索引,可能可以提高性能。

我最近刚整过和你类似的事情 呵呵。

你这个问题可以分成2个问题来解决

1.建立索引 首先把data_content_21.邮件, data_content_9.帐号建立索引。建立索引不会的话推荐你一个绿色工具 HAP_SQLyog_Enterprise_7.14网上自己去下很多的,然后登录进去以后选择你的表右键-》建立索引-》选上你要建立索引的字段就好了

2.mysql毕竟是轻量级数据库,如果数据超过100万条,建议你使用mysql的分表机制,需要mysql5.4.1以上的版本,分表机制在那个绿色工具里也有 自己试下吧


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7100154.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-01
下一篇 2023-04-01

发表评论

登录后才能评论

评论列表(0条)

保存