mysql 语句LOAD DATA INFILE高效导入数据

mysql LOAD DATA INFILE使用官方地址

https://dev.mysql.com/doc/refman/5.7/en/load-data.html

load data infile语句从一个文本/文件中以很高的速度写入表中。

读取位于服务器上的文本文件时，文件必须处于数据库目录或可被所有人读取

你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据

指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上

eplace和ignore关键词控制对现有的唯一键记录的重复的处理

fields关键字指定了文件记段的分割格式

terminated by分隔符：意思是以什么字符作为分隔符

enclosed by字段括起字符

escaped by转义字符

terminated by描述字段的分隔符，默认情况下是tab字符（ ）

enclosed by描述的是字段的括起字符。

escaped by描述的转义字符。默认的是反斜杠（backslash： ）

1、win系统导入

批处理文件 import.bat 路径为d:/files/bat

/*dbhost执行文件不在本服务器需要,本次忽略*/

/*数据库账号名称*/

/*数据库密码*/

@SET dbpasswd=****

//需要执行的sql语句

/*未配置环境变量时加下下面两句*/

/*连接MySQL数据库并执行sql脚本 注意database为写入数据库名*/

sq文件 demo.sql 路径为d:/files/bat

/*D:filessimple.csv文件路径 ,table为写入数据表名,uname, phone数据库字段名称*/

/*退出*/

simple.csv

php执行批处理

注意如果system执行失败

编辑 php.ini 查找 disable_functions 将等号后面的 system 去掉即可 。其他人自行查资料

注意导入前开启mysql local_infile

开启local_infile

2、linux系统导入

linux导入比较简单：

注意 ***处填写数据库账号，****处填写数据库密码

table为写入数据表名,uname, phone数据库字段名

批处理文件 import.sh 路径为d:/files/bat

php执行批处理

注意如果system执行失败

编辑php.ini查找 disable_functions 将等号后面的 system 去掉即可。其他错误自行查资料

注意导入前开启mysql local_infile

开启local_infile

加快MySQL插入速度可循下列手段去做：

1）数据表使用尽量少的索引；

2）合理设计表结构、尽量插入冗余量较小的信息，避免插入多余、重复和无用的信息；

3）尽量减少应用程序与数据库之间的网络往返量（如使用存储过程等）；

4）数据表使用MyISAM存储引擎替代默认的InnoDB存储引擎。在不需要支持事务的情况下，MyISAM引擎表的插入速度要远高于InnoDB引擎表，因为前者不需要增加额外的事务、回滚和崩溃修复等系统开销，自然插入速度要比后者迅速的多；

5）减少并发量、提升硬件。

首先， 插入上万条数据，对于数据库来说并不是“很大”的工作量，一般配置的笔记本电脑都可以在1分钟内完成。 所以最简单、最灵活的办法还是写SQL语句。如果不希望DB编译器每次执行都编译SQL的话，可以使用存储过程，直接调用，性能上会好很多。也比较简单。（几万条数据怎么地也得要时间去处理，所以不可能特别快的。）如果由于各种原因，导致这个插入还是很慢， 而且你的MYSQL又是5.0以上版本的话，可以使用BulkCopy来进行批量 *** 作。 BulkCopy的原理就是Client直接把一个数组（DataTable）传给DB，然后传入表名，所有的编译、 *** 作都由DB自己完成，效率很高。引用MySql.Data.dll ， 调用MysqlBulkCopy函数即可。这个函数在处理海量数据插入的时候效率尤为明显， 小量数据反而没什么优势，而且由于传入的DataTable格式必须和表的字段一模一样（空的列也要传进去），导致C#要写很多代码来构造这个数组，所以要你自己权衡用还是不用。我在自己的电脑上批量插入一亿条数据，Insert写法大概需要1小时,BulkCopy大概只需要5分钟。

---