把很多TXT文件内容写入MYSQL数据库，有一亿条数据，如何提高写入效率？求高手赐教修改如下代码

非root用户运行MySQL，当MySQL配置比较高时，MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。 这篇文章的目的是为了说明在系统资源不够的情况下，MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、 max_connections、 table_open_cache。与这三个参数相关的系统资源是打开文件数限制，即文件描述符（fd）限制。系统参数与文件描述符的关系 - max_connection & fd : 每一个MySQL connection      都需要一个文件描述符；- table_open_cache & fd 打开一张表至少需要一个      文件描述符，如打开MyISAM需要两个fd ；- 系统最大打开文件数可以通过 ulimit -n查看。MySQL调整参数的方式

根据配置（三个参数的配置值或默认值）计算 request_open_files（需要的文件描述符）；

2.获取有效的系统的限制值effective_open_files；  3.根据effective_open_files调整request_open_files；  4.根据调整后的request_open_files,计算实际生效的参数值（show variables 可查看参数值）。计算request_open_filesrequest_open_files有三个计算公式：1.      // 最大连接数+同时打开的表的最大数量+其他（各种日志等等）2.     limit_1= max_connections+table_cache_size * 2 + 103.   4.      //假设平均每个连接打开的表的数量（2-4）5.      //源码中是这么写的：6.      //We are trying to allocate no less than 7.      // max_connections*5 file handles8.      limit_2= max_connections * 59.   10.    //mysql 默认的默认是500011.    limit_3= open_files_limit ? open_files_limit : 500012.  13.     所以open_files_limit期待的最低14.     request_open_files= max(limit_1,limit_2,limit_3)计算effective_open_files:MySQL 的思路：

在有限值的的范围内MySQL 尽量将effective_open_files的值设大。

修正request_open_files

requested_open_files= min(effective_open_files, request_open_files)

重新计算参数值

修正open_files_limit

open_files_limit = effective_open_files

修正max_connections

max_connections 根据 request_open_files 来做修正。1.  limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN * 2

如果配置的max_connections值大于limit，则将max_connections 的值修正为limit

其他情况下 max_connections 保留配置值

修正table_cache_size

table_cache_size 会根据 request_open_files 来做修正1.   // mysql table_cache_size 最小值，4002.   limit1 = TABLE_OPEN_CACHE_MIN3.   // 根据 requested_open_files 计算4.   limit2 = (requested_open_files - 10 - max_connections) / 25.   limit = max(limit1,limt2)

如果配置的table_cache_size 值大于limit，则将 table_cache_size 的值修正为limit

其他情况下table_cache_size 保留配置值

举例

以下用例在非 root 用户下运行

参数设置：

//mysql

max_connections = 500

table_open_cache = 999

//ulimit -n

1500

生效的值：

open_files_limit = 1500   max_connections = min[(1500 - 10 - 800),500] = 500

table_open_cache = ( 1500 - 10 - 500) / 2 =495

读文件效率比数据库高无数倍，无论数据有多少都能高无数倍。数据库的优点是可以条件筛选，因为数据库有索引，所以在条件筛选的时候会比文本文件快（如果你的文本文件自己建立内容索引，就会比数据库快）文本文件推荐你使用的方式是二进制读写，所有文本都转换为二进制存进去，每一条记录都使用固定的字节数，最前面的八字节写一个64位long型的时间，然后在你需要读取的时候，可以用文本总长度除以你每一条的固定字节数，得到这个文件到底有几条数据，然后用二分法去判定每一条的时间，经实际测试亿万条数据可以在一个最小计时器周期内找到需要的数据

---