MySQL与Redis数据库连接池介绍（图示+源码+代码演示）

数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。

简单的说：创建数据库连接是一个很耗时的 *** 作，也容易对数据库造成安全隐患。所以，在程序初始化的时候，集中创建多个数据库连接，并把他们集中管理，供程序使用，可以保证较快的数据库读写速度，还更加安全可靠。

不使用数据库连接池

如果不使用数据库连接池，对于每一次SQL *** 作，都要走一遍下面完整的流程：

1.TCP建立连接的三次握手（客户端与 MySQL服务器的连接基于TCP协议）

2.MySQL认证的三次我收

3.真正的SQL执行

4.MySQL的关闭

5.TCP的四次握手关闭

可以看出来，为了执行一条SQL，需要进行大量的初始化与关闭 *** 作

使用数据库连接池

如果使用数据库连接池，那么会 事先申请（初始化）好 相关的数据库连接，然后在之后的SQL *** 作中会复用这些数据库连接， *** 作结束之后数据库也不会断开连接，而是将数据库对象放回到数据库连接池中

资源重用：由于数据库连接得到重用，避免了频繁的创建、释放连接引起的性能开销，在减少系统消耗的基础上，另一方面也增进了系统运行环境的平稳性（减少内存碎片以及数据库临时进程/线程的数量）。

更快的系统响应速度：数据库连接池在初始化过程中，往往已经创建了若干数据库连接置于池中备用。 此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了从数据库连接初始化和释放过程的开销，从而缩减了系统整体响应时间。

统一的连接管理，避免数据库连接泄露：在较为完备的数据库连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规数据库连接 *** 作中可能出现的资源泄露。

如果说你的服务器CPU是4核i7的，连接池大小应该为((4*2)+1)=9

相关视频推荐

90分钟搞懂数据库连接池技术|linux后台开发

《tcp/ip详解卷一》： 150行代码拉开协议栈实现的篇章

学习地址：C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂

需要C/C++ Linux服务器架构师学习资料加qun 812855908 获取（资料包括 C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg 等），免费分享

源码下载

下载方式：https://github.com/dongyusheng/csdn-code/tree/master/db_pool（Github中下载）

db_pool目录下有两个目录，mysql_pool目录为MySQL连接池代码，redis_pool为redis连接池代码

下面介绍mysql_pool

CDBConn解析

概念： 代表一个数据连接对象实例

相关成员：

m_pDBPool：该数据库连接对象所属的数据库连接池

构造函数： 绑定自己所属于哪个数据库连接池

Init()函数： 创建数据库连接句柄

CDBPool解析

概念：代表一个数据库连接池

相关成员：

Init()函数：常见指定数量的数据库实例句柄，然后添加到m_free_list中，供后面使用

GetDBConn()函数： 用于从空闲队列中返回可以使用的数据库连接句柄

RelDBConn()函数： 程序使用完该数据库句柄之后，将句柄放回到空闲队列中

测试之前，将代码中的数据库地址、端口、账号密码等改为自己的（代码中有好几处）

进入MySQL， 创建mysql_pool_test数据库

进入到mysql_pool目录下， 创建一个build目录并进入 ：

然后输入如下的命令进行编译

之后就会在目录下生成如下的可执行文件

输入如下两条命令进行测试： 可以看到不使用数据库连接池，整个 *** 作耗时4秒左右；使用连接池之后，整个 *** 作耗时2秒左右，提升了一倍

源码下载

下面介绍redis_pool

测试

进入到redis_pool目录下， 创建一个build目录并进入 ：

然后输入如下的命令进行编译

之后就会在目录下生成如下的可执行文件

输入如下的命令进行测试： 可以看到不使用数据库连接池，整个 *** 作耗时182ms；使用连接池之后，整个 *** 作耗时21ms，提升了很多

进入redis，可以看到我们新建的key：

问题一：什么是数据库连接池，有什么作用？ 数据库连接是一种有限的昂贵的资源，

数据库连接影响到程序的性能指标。

数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、

管理和释放数据库连接，

它允许应用程序重复使用一个现有的数据库连接，

而再不是重新建立一个；

释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数

据库连接而引起的数据库连接遗漏。

这项技术能明显提高对数据库 *** 作的性能。

问题二：什么是数据库连接池？谢谢了 数据库连接池，简称dbcp databa绩e connection pool

存在意义：

数据库的连接是非常耗费系统资源的，一个应用通常都是需要与数据库打交道，也就需要经常连接数据库，这样导致浪费大量系统资源；

连接池的原理就是：我事先创建好几个数据库连接放着，当我的系统需要 *** 作数据库时就从连接池里直接拿连接，并将这个连接标记为 忙 ；用完后在放会池中，标记为 空闲；；；

当连接池里的连接都在被使用，如果此时还要连接，连接池就会在创建连接放到池里，，这些连接的数量，都是在配置文件里由你控制的

问题三：数据库连接池是什么意思？ 像打开关闭数据库连接这种和数据库的交互可能是很费时的，尤其是当客户端数量增加的时候，会消耗大量的资源，成本是非常高的。可以在应用服务器启动的时候建立很多个数据库连接并维护在一个池中。连接请求由池中的连接提供。在连接使用完毕以后，把连接归还到池中，以用于满足将来更多的请求。

问题四：数据库连接池的工作机制是什么? 为什么要使用数据库连接池？

答：

由于创建连接的代价是很高的, 我们每次访问数据库都重新创建连接的话是非常消耗性的.

我们可以再程序启动的时候先创建出一些连接, 放在一个 *** 中, 访问数据库的时候从 *** 中获取, 使用结束再放回 *** 中.

这样做只是在程序启动的时候消耗性能去创建连接, 每次访问数据库的时候都是从内存中获取连接, 可以大大提升效率.

注意事项:

由于池中增删非常频繁, 使用 *** LinkedList效率较高

*** 中所有连接都被占用时创建新连接, 但需要注意连接总数

使用组合模式/动态代理处理释放连接的方法, 当运行close方法时, 将连接放回池中

关于数据库连接池：

数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。

数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库 *** 作的性能。

数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被 使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超 过最大连接数量时，这些请求将被加入到等待队列中。

数据库连接池的最小连接数和最大连接数的设置要考虑到下列几个因素：

1) 最小连接数是连接池一直保持的数据库连接，所以如果应用程序对数据库连接的使用量不大，将会有大量的数据库连接资源被浪费；

2) 最大连接数是连接池能申请的最大连接数，如果数据库连接请求超过此数，后面的数据库连接请求将被加入到等待队列中，这会影响之后的数据库 *** 作。

3) 如果最小连接数与最大连接数相差太大，那么最先的连接请求将会获利，之后超过最小连接数量的连接请求等价于建立一个新的数据库连接。不过，这些大于最小连接数的数据库连接在使用完不会马上被释放，它将被放到连接池中等待重复使用或是空闲超时后被释放。

J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。

调用：客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为 忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。

释放：当使用的池连接调用完成后，池驱动程序将此连接表记为空闲， 其他调用就可以使用这个连接

问题五：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的 对应1、2、4的JDBC驱动程序 连接池一般比直接连接更有优越性 因为它提高了性能的同时还保存了 宝贵的资源。 打开数据库连接时CPU和网络的重要 任务，因此，在整个应用程序的使用过程 当中重复的打开直接连接将导致性能的下降。 而池连接只在服务器启动时打开一次，从而 消除了这种性能问题。 另外，因为连接只用于很短的时间， 所以，连接可以被有效共享， 而且有关连接参数的特有信息， 只对池驱动程序有效， 如数据库用户名称和密码， 从而增强了系统的安全性和可管理性。

问题六：数据库连接池的工作机制是什么 连接池的实现是以空间换时间。

J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。当使用的池连接调用完成后，池驱动程序将此连接表记为空闲，其他调用就可以使用这个连接。

问题七：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的

对应1、2、4的JDBC驱动程序

连接池一般比直接连接更有优越性

因为它提高了性能的同时还保存了

宝贵的资源。

打开数据库连接时CPU和网络的重要

任务，因此，在整个应用程序的使用过程

当中重复的打开直接连接将导致性能的下降。

而池连接只在服务器启动时打开一次，从而

消除了这种性能问题。

另外，因为连接只用于很短的时间，

所以，连接可以被有效共享，

而且有关连接参数的特有信息，

只对池驱动程序有效，

如数据库用户名称和密码，

从而增强了系统的安全性和可管理性。

问题八：开源的数据库连接池和普通的数据库连接池有什么区别 在项目中尝试使用了几种开源的数据库连接池实现。一种是dbcp，一种是c3p0，还有一种是proxool，这几种数据库连接池都可以很容易的在Spring配置起来。性能总体上上感觉dbcp为最优，因为稳定性和并发性都是我的项目需要的。

项目中经过反复测试，如果web server和数据库server不是同一个机器的话，在断网时间比较短的时间内三种数据库连接池都能较好的重连，但是在断网时间超过8个钟头 proxool就不能恢复工作了。但是dbcp却能很快的重新连接。实际生产环境中稳定性和总体性能是最重要的，都需要做相应的测试才能放心的让系统上生产线。

这里给出项目中数据库连接池配置：

dbcp的jndi：13 4 java:p/env/jdbc/mysql5 6 proxool(proxool-0.9.0RC1)的配置： .mysql.jdbc.Driver jdbc:mysql:ip:3306/dbname?useUnicode=true&characterEncoding=utf8&autoReconnect=true user password 500 15000 select CURRENT_DATE true mysqlProxoolDataSource 1000 false 建议使用DBCP，配置在tomcat中，然后在spring中使用jndi的形式获取。 c3p0(c3p0-0.9.0)： 1 3 4 .mysql.jdbc.Driver 5 6 7 jdbc:mysql:192.168.0.225:3306/sendinmdb?useUnicode=true&characterEncoding=utf8&autoReconnect=true 8 9 10 ********11 12 13 ********14 15 16 10017 18 19 5020 21 22 10023 24 25 100026 27 28 3029 30 直接copy &paste到spring配置文件里就可以使用了。 配置一些额外的tomcat 的DBCP连接池参数，也可以更好的使用到类似proxool提供的功能，只是dbcp更加稳定而已。tomcat/conf/context.xml中插入一个Resource元素： 解释一下以下这些参数的含义：

validationQuery = select current_date()

testOnBorrow = true

testOnReturn = false

testWhileIdle = true

当 从池中获取一个Connection后使用 select current_date() 来测试该数据库连接的可用性，如果SQL语句返回结果则认为是一个有效的连接，否则将继续测试知道可以拿到有效的连接。当返回Connection给池的时候不进行验证，但是Connection空闲的时候就要进行认证。

timeBetweenEvictionRunsMillis = 15000

DBCP 清空线程睡眠的间隙，如值为负数则不运行该线程

numTestsPerEvictionRun = 10"......>>

问题九：sqlite 使用什么数据库连接池 数据库连接是一种有限的昂贵的资源，

数据库连接影响到程序的性能指标。

数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、

管理和释放数据库连接，

它允许应用程序重复使用一个现有的数据库连接，

而再不是重新建立一个；

释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数

据库连接而引起的数据库连接遗漏。

这项技术能明显提高对数据库 *** 作的性能。

问题十：说出数据连接池的工作机制是什么? 以典型的数据库连接池为例：首先普通的数据库访问是这样的：程序和数据库建立连接，发送数据 *** 作的指令，完成后断开连接。等下一次请求的时候重复这个过程，即每个请求都需要和数据库建立连接和断开连接，这样当数据量大的时候系统的消耗是很大的。连接池就是为了解决这个问题：在一个空间中预先建立好一定数量的连接，当程序请求数据时直接使用池中的现存的连接，不需要重复建立连接和断开的过程，节省了时间提高了性能

开始本文之前，我们看一段Go连接数据库的代码：

本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能。

转自：https://www.jianshu.com/p/cbfc398bd4d6

整理：地鼠文档：www.topgoer.cn

那么sql.DB连接池是如何工作的呢?

需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。

当您使用Go执行数据库 *** 作时，它将首先检查池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。

当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。

连接池有四个方法，我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。

SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下，打开的连接数是无限的。

一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择。默认情况下，PostgreSQL最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动返回”sorry, too many clients already”错误。

为了避免这个错误，将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。

设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告。如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。

SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限。缺省情况下，最大空闲连接数为2。

理论上，在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—，因此有助于节省资源。

但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。例如，默认情况下MySQL会自动关闭任何8小时未使用的连接。

因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源。因此保持适量的空闲连接是必要的。理想情况下，你只希望保持一个连接空闲，可以快速使用。

另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点，并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间。默认连接的存活时间没有限制，永久可用。

如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。但需要注意：

理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接。但是在某些情况下，设置短期存活时间有用。比如：

如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。

SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理 *** 作删除。

这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源。

所以有很多信息要吸收。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。

1、根据经验，您应该显式地设置MaxOpenConns值。这个值应该低于数据库和 *** 作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用。

对于本书中的项目，我们将MaxOpenConns限制为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值。

2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。

因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns限制为25个连接。

3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟。

4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬限制，或者您需要它协助一些 *** 作，比如优雅地交换数据库。这些都不适用于本项目，所以我们将保留这个默认的无限制配置。

与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置。

ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。这里有几个选择:

1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration。

2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:

File: cmd/api/main.go

---