MySQL快速生成大量测试数据（100万、1000万、1亿）

LEFT()函数是一个字符串函数，它返回具有指定长度的字符串的左边部分。

下面是LEFT()函数的语法 -

INTERVAL关键字

INTERVAL关键字可以用于计算时间间隔，可以有以下用法。

1，直接计算时间间隔。

例1：查询当前时间之前2个小时的日期：

MySQL DATE_ADD() 函数

定义和用法

DATE_ADD() 函数向日期添加指定的时间间隔。

语法

DATE_ADD(date,INTERVAL expr type)

我们希望向 "OrderDate" 添加 2 天

DATE_ADD(OrderDate,INTERVAL 2 DAY)

CAST函数 将任何类型的值转换为具有指定类型的值 >

如果我们有一个包含一亿条数据的表需要取出所以数据，如何通过sql取出。我们能想到有四种方式，但是性能效率会有差别，我们此时进行一下分析，判断该如何选择并实践一下查询分析。

首先我们发现上面type有range和index区分，key都是primary，rows也有分别，那么我们就来直接看下这几种字段的含义。

我们从上面可以看出在大量遍历查询数据的过程中我们应该优先考虑between-and，id>number模式，这样的查询效率会更好一些。

数据库中一亿条数据大约10G左右。

这是平均值~~大概的心理预期~~实际情况实际考虑~~一行一个int，与一行一个65533长的字符串，肯定是不同的。

你这涉及到数据库优化的范畴了。

一般的优化做法是：

建立索引。为经常要查找的字段建立索引

将复杂查询尽量写成存储过程

多建立视图

一般来说通过这三步能大大缩短复杂查询的返回时间

非root用户运行MySQL，当MySQL配置比较高时，MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。 这篇文章的目的是为了说明在系统资源不够的情况下，MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、 max_connections、 table_open_cache。与这三个参数相关的系统资源是打开文件数限制，即文件描述符（fd）限制。系统参数与文件描述符的关系 - max_connection & fd : 每一个MySQL connection      都需要一个文件描述符；- table_open_cache & fd 打开一张表至少需要一个      文件描述符，如打开MyISAM需要两个fd ；- 系统最大打开文件数可以通过 ulimit -n查看。MySQL调整参数的方式

根据配置（三个参数的配置值或默认值）计算 request_open_files（需要的文件描述符）；

2获取有效的系统的限制值effective_open_files；  3根据effective_open_files调整request_open_files；  4根据调整后的request_open_files,计算实际生效的参数值（show variables 可查看参数值）。计算request_open_filesrequest_open_files有三个计算公式：1      // 最大连接数+同时打开的表的最大数量+其他（各种日志等等）2     limit_1= max_connections+table_cache_size 2 + 10;3   4      //假设平均每个连接打开的表的数量（2-4）5      //源码中是这么写的：6      //We are trying to allocate no less than 7      // max_connections5 file handles8      limit_2= max_connections 5;9   10    //mysql 默认的默认是500011    limit_3= open_files_limit open_files_limit : 5000;12  13     所以open_files_limit期待的最低14     request_open_files= max(limit_1,limit_2,limit_3);计算effective_open_files:MySQL 的思路：

在有限值的的范围内MySQL 尽量将effective_open_files的值设大。

修正request_open_files

requested_open_files= min(effective_open_files, request_open_files)

重新计算参数值

修正open_files_limit

open_files_limit = effective_open_files

修正max_connections

max_connections 根据 request_open_files 来做修正。1  limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN 2;

如果配置的max_connections值大于limit，则将max_connections 的值修正为limit

其他情况下 max_connections 保留配置值

修正table_cache_size

table_cache_size 会根据 request_open_files 来做修正1   // mysql table_cache_size 最小值，4002   limit1 = TABLE_OPEN_CACHE_MIN3   // 根据 requested_open_files 计算4   limit2 = (requested_open_files - 10 - max_connections) / 25   limit = max(limit1,limt2);

如果配置的table_cache_size 值大于limit，则将 table_cache_size 的值修正为limit

其他情况下table_cache_size 保留配置值

举例

以下用例在非 root 用户下运行

参数设置：

//mysql

max_connections = 500

table_open_cache = 999

//ulimit -n

1500

生效的值：

open_files_limit = 1500   max_connections = min[(1500 - 10 - 800),500] = 500

table_open_cache = ( 1500 - 10 - 500) / 2 =495

以上就是关于MySQL快速生成大量测试数据（100万、1000万、1亿）全部的内容，包括:MySQL快速生成大量测试数据（100万、1000万、1亿）、1亿条数据如何分表100张到Mysql数据库中（PHP）、Mysql(四) -- 遍历大量数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！