phpmysql导出千万级csv最快方法

phpmysql导出千万级csv最快方法,第1张

1、首先创建要插入100万数据的表格,随机产生数字。

2、其次创建存储过程,并向表中插入数据,调用存储过程进行插入数据,插入300万条数据,且分几次插入。

3、最后导出数据到csv,使用函数selectxxxintooutfile,其中outfile后面的路径可以是Windows或macOS或者Linux。

1.MySQL导出本地数据库数据到本地文件

Sql代码

代码如下复制代码

load data infile '/tmp/test.csv'

into table test_info

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by 'rn'

load data infile '/tmp/test.csv'

into table test_info

fields terminated by ',' optionally enclosed by '"' escaped by '

"'

lines terminated by 'rn'里面最关键的部分就是格式参数

2.MySQL导出远程数据库数据到本地文件

代码如下复制代码

mysql -A service_db -h your_host -utest -ptest -ss -e "SELECT * from t_apps limit 300" | sed 's/t/","/gs/^/"/s/$/"/s/n//g' >apps.csv

(sed部分可略,尤其是处理包含汉字的数据时)

3. mysqldump导出csv格式的数据文件

代码如下复制代码

# 使用方法如下

mysqldump -uroot -ppassword -t -T/root testdb --fields-enclosed-by=" --fields-terminated-by=,

mysqldump -h your_host -utest -ptest -w "id<300" service_db t_apps >tt.sql

导出后格式如下:

代码如下复制代码

"1","m11401","2013-06-22 23:00:01"

"2","m11402","2013-06-22 23:00:02"

"3","m11403","2013-06-22 23:00:03"

由于工作需要,经常需要将mysql数据库中的数据导出到excel表格,或者需要将excel表格数据导入到mysql数据库,我的方法是先将它

们都转换成一种中间数据格式csv(execl数据可以直接导出为csv格式,csv格式也可以直接用excel打开)。下面介绍一下 *** 作步骤:

csv导入mysql

load data infile 'C:\\Users\\UserName\\Desktop\\test.csv'

into table `table`

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n'

mysql导入csv

select * from `table`

load data infile 'C:\\Users\\UserName\\Desktop\\test.csv'

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n'

如果乱码,可用相关编辑器打开.csv文件,另存为utf-8的csv


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/6157654.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-16
下一篇 2023-03-16

发表评论

登录后才能评论

评论列表(0条)

保存