全量导出数据量太大怎么办

全量导出数据量太大怎么办,第1张

1
产品角度 我们为什么要导出这么多数据呢这个设计是不是合理的呢 如果要导出百万级数据,那为什么不直接找大数据或者DBA来干呢然后以邮件形式传递不行吗 如果通过分页导出,每次点击按钮只导几万条,分批导出难道不能满足业
2
技术角度 不能将全量数据一次性加载到内存之中,这可以通过采用stream流方式实现 以csv代替excel,减少文件结构存储空间 三

1、首先在SQL Window窗口中,查询需要导出的数据。
2、在查询的结果集上(注意不要选中任何一个行或者单元格)右键--Copy to Excel-->Copy as xls/xlsx导出到97-2003格式的xls或者2007之后的xlsx文件
3、如果不想导出查询的全部数据,可以在左侧选中需要导出的行,然后步奏同上。
4、点击导出后,系统自动打开导出的excel文件内容,这里面包括数据以及查询这些数据的sql脚本。
5、点击“SQL Statement”可以查看数据库脚本。
6、下面就是 *** 作excel文件了。点击文件--另存为保存excel文件
7、选择保存路径,输入文件名称。
注意事项:导出到excel的时候,行记录数也会被自动导出。如果不需要可以在excel中将此列删除即可。

你说的测试库和正式库之间可以创建dblink么?
另外,你可以在测试库生成的500万数据的那个表上建索引,
这两点可以实现的话,
直接用insert select 来做就可以了,,
导入前,把目标表的索引主键全删掉(记得备份,我看你说的意思目标表应该是个空表,所以这样做没有神马坏处),数据导入后再建。
500万的数据,应该上不了半个小时就全部插进去了,
我经常在测试库和正式库之间转换数据,数据量也是百万千万级的,一直用的就是这个方法。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/13336677.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-17
下一篇 2023-07-17

发表评论

登录后才能评论

评论列表(0条)

保存