mysql数据库要放1亿条信息怎样分表?

mysql数据库对1亿条数据的分表方法设计：

目前针对海量数据的优化有两种方法：

（1）垂直分割

优势：降低高并发情况下，对于表的锁定。

不足：对于单表来说，随着数据库的记录增多，读写压力将进一步增大。

（2）水平分割

如果单表的IO压力大，可以考虑用水平分割，其原理就是通过hash算法，将一张表分为N多页，并通过一个新的表（总表），记录着每个页的的位置。

假如一个门户网站，它的数据库表已经达到了1亿条记录，那么此时如果通过select去查询，必定会效率低下（不做索引的前提下）。为了降低单表的读写IO压力，通过水平分割，将这个表分成10个页，同时生成一个总表，记录各个页的信息，那么假如我查询一条id=100的记录，它不再需要全表扫描，而是通过总表找到该记录在哪个对应的页上，然后再去相应的页做检索，这样就降低了IO压力。

非root用户运行MySQL，当MySQL配置比较高时，MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。 这篇文章的目的是为了说明在系统资源不够的情况下，MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、 max_connections、 table_open_cache。与这三个参数相关的系统资源是打开文件数限制，即文件描述符（fd）限制。系统参数与文件描述符的关系 - max_connection & fd : 每一个MySQL connection      都需要一个文件描述符；- table_open_cache & fd 打开一张表至少需要一个      文件描述符，如打开MyISAM需要两个fd ；- 系统最大打开文件数可以通过 ulimit -n查看。MySQL调整参数的方式

根据配置（三个参数的配置值或默认值）计算 request_open_files（需要的文件描述符）；

2.获取有效的系统的限制值effective_open_files；  3.根据effective_open_files调整request_open_files；  4.根据调整后的request_open_files,计算实际生效的参数值（show variables 可查看参数值）。计算request_open_filesrequest_open_files有三个计算公式：1.      // 最大连接数+同时打开的表的最大数量+其他（各种日志等等）2.     limit_1= max_connections+table_cache_size * 2 + 103.   4.      //假设平均每个连接打开的表的数量（2-4）5.      //源码中是这么写的：6.      //We are trying to allocate no less than 7.      // max_connections*5 file handles8.      limit_2= max_connections * 59.   10.    //mysql 默认的默认是500011.    limit_3= open_files_limit ? open_files_limit : 500012.  13.     所以open_files_limit期待的最低14.     request_open_files= max(limit_1,limit_2,limit_3)计算effective_open_files:MySQL 的思路：

在有限值的的范围内MySQL 尽量将effective_open_files的值设大。

修正request_open_files

requested_open_files= min(effective_open_files, request_open_files)

重新计算参数值

修正open_files_limit

open_files_limit = effective_open_files

修正max_connections

max_connections 根据 request_open_files 来做修正。1.  limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN * 2

如果配置的max_connections值大于limit，则将max_connections 的值修正为limit

其他情况下 max_connections 保留配置值

修正table_cache_size

table_cache_size 会根据 request_open_files 来做修正1.   // mysql table_cache_size 最小值，4002.   limit1 = TABLE_OPEN_CACHE_MIN3.   // 根据 requested_open_files 计算4.   limit2 = (requested_open_files - 10 - max_connections) / 25.   limit = max(limit1,limt2)

如果配置的table_cache_size 值大于limit，则将 table_cache_size 的值修正为limit

其他情况下table_cache_size 保留配置值

举例

以下用例在非 root 用户下运行

参数设置：

//mysql

max_connections = 500

table_open_cache = 999

//ulimit -n

1500

生效的值：

open_files_limit = 1500   max_connections = min[(1500 - 10 - 800),500] = 500

table_open_cache = ( 1500 - 10 - 500) / 2 =495

如果我们有一个包含一亿条数据的表需要取出所以数据，如何通过sql取出。我们能想到有四种方式，但是性能效率会有差别，我们此时进行一下分析，判断该如何选择并实践一下查询分析。

首先我们发现上面type有range和index区分，key都是primary，rows也有分别，那么我们就来直接看下这几种字段的含义。

我们从上面可以看出在大量遍历查询数据的过程中我们应该优先考虑between-and，id>number模式，这样的查询效率会更好一些。

---