这次我们采取技术演进的方式来谈谈数据库连接池的技术出现过程及其原理，以及当下最流行的开源数据库连接池jar包。
1、原理
一般来说，Java应用程序访问数据库的过程是 ：
①装载数据库驱动程序；
②通过jdbc建立数据库连接；
③访问数据库，执行sql语句；
④断开数据库连接。
2、代码
3、分析
程序开发过程中，存在很多问题：首先，每一次web请求都要建立一次数据库连接。建立连接是一个费时的活动，每次都得花费0.05s～1s的时间，而且系统还要分配内存资源。这个时间对于一次或几次数据库 *** 作，或许感觉不出系统有多大的开销。可是对于现在的web应用，尤其是大型电子商务网站，同时有几百人甚至几千人在线是很正常的事。在这种情况下，频繁的进行数据库连接 *** 作势必占用很多的系统资源，网站的响应速度必定下降，严重的甚至会造成服务器的崩溃。不是危言耸听，这就是制约某些电子商务网站发展的技术瓶颈问题。其次，对于每一次数据库连接，使用完后都得断开。否则，如果程序出现异常而未能关闭，将会导致数据库系统中的内存泄漏，最终将不得不重启数据库。还有，这种开发不能控制被创建的连接对象数，系统资源会被毫无顾及的分配出去，如连接过多，也可能导致内存泄漏，服务器崩溃。
上述的用户查询案例，如果同时有1000人访问，就会不断的有数据库连接、断开 *** 作：
通过上面的分析，我们可以看出来，“数据库连接”是一种稀缺的资源，为了保障网站的正常使用，应该对其进行妥善管理。其实我们查询完数据库后，如果不关闭连接，而是暂时存放起来，当别人使用时，把这个连接给他们使用。就避免了一次建立数据库连接和断开的 *** 作时间消耗。原理如下：
由上面的分析可以看出，问题的根源就在于对数据库连接资源的低效管理。我们知道，对于共享资源，有一个很著名的设计模式：资源池（resource pool）。该模式正是为了解决资源的频繁分配﹑释放所造成的问题。为解决上述问题，可以采用数据库连接池技术。数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去。我们可以通过设定连接池最大连接数来防止系统无尽的与数据库连接。更为重要的是我们可以通过连接池的管理机制监视数据库的连接的数量﹑使用情况，为系统开发﹑测试及性能调整提供依据。
我们自己尝试开发一个连接池，来为上面的查询业务提供数据库连接服务：
① 编写class 实现DataSource 接口
② 在class构造器一次性创建10个连接，将连接保存LinkedList中
③ 实现getConnection 从 LinkedList中返回一个连接
④ 提供将连接放回连接池中方法
1、连接池代码
2、使用连接池重构我们的用户查询函数
这就是数据库连接池的原理，它大大提供了数据库连接的利用率，减小了内存吞吐的开销。我们在开发过程中，就不需要再关心数据库连接的问题，自然有数据库连接池帮助我们处理，这回放心了吧。但连接池需要考虑的问题不仅仅如此，下面我们就看看还有哪些问题需要考虑。
1、并发问题
为了使连接管理服务具有最大的通用性，必须考虑多线程环境，即并发问题。这个问题相对比较好解决，因为java语言自身提供了对并发管理的支持，使用synchronized关键字即可确保线程是同步的。使用方法为直接在类方法前面加上synchronized关键字，如：
2、多数据库服务器和多用户
对于大型的企业级应用，常常需要同时连接不同的数据库（如连接oracle和sybase）。如何连接不同的数据库呢？我们采用的策略是：设计一个符合单例模式的连接池管理类，在连接池管理类的唯一实例被创建时读取一个资源文件，其中资源文件中存放着多个数据库的url地址等信息。根据资源文件提供的信息，创建多个连接池类的实例，每一个实例都是一个特定数据库的连接池。连接池管理类实例为每个连接池实例取一个名字，通过不同的名字来管理不同的连接池。
对于同一个数据库有多个用户使用不同的名称和密码访问的情况，也可以通过资源文件处理，即在资源文件中设置多个具有相同url地址，但具有不同用户名和密码的数据库连接信息。
3、事务处理
我们知道，事务具有原子性，此时要求对数据库的 *** 作符合“all-all-nothing”原则即对于一组sql语句要么全做，要么全不做。
在java语言中，connection类本身提供了对事务的支持，可以通过设置connection的autocommit属性为false 然后显式的调用commit或rollback方法来实现。但要高效的进行connection复用，就必须提供相应的事务支持机制。可采用每一个事务独占一个连接来实现，这种方法可以大大降低事务管理的复杂性。
4、连接池的分配与释放
连接池的分配与释放，对系统的性能有很大的影响。合理的分配与释放，可以提高连接的复用度，从而降低建立新连接的开销，同时还可以加快用户的访问速度。
对于连接的管理可使用空闲池。即把已经创建但尚未分配出去的连接按创建时间存放到一个空闲池中。每当用户请求一个连接时，系统首先检查空闲池内有没有空闲连接。如果有就把建立时间最长（通过容器的顺序存放实现）的那个连接分配给他（实际是先做连接是否有效的判断，如果可用就分配给用户，如不可用就把这个连接从空闲池删掉，重新检测空闲池是否还有连接）；如果没有则检查当前所开连接池是否达到连接池所允许的最大连接数（maxconn）如果没有达到，就新建一个连接，如果已经达到，就等待一定的时间（timeout）。如果在等待的时间内有连接被释放出来就可以把这个连接分配给等待的用户，如果等待时间超过预定时间timeout 则返回空值（null）。系统对已经分配出去正在使用的连接只做计数，当使用完后再返还给空闲池。对于空闲连接的状态，可开辟专门的线程定时检测，这样会花费一定的系统开销，但可以保证较快的响应速度。也可采取不开辟专门线程，只是在分配前检测的方法。
5、连接池的配置与维护
连接池中到底应该放置多少连接，才能使系统的性能最佳？系统可采取设置最小连接数（minconn）和最大连接数（maxconn）来控制连接池中的连接。最小连接数是系统启动时连接池所创建的连接数。如果创建过多，则系统启动就慢，但创建后系统的响应速度会很快；如果创建过少，则系统启动的很快，响应起来却慢。这样，可以在开发时，设置较小的最小连接数，开发起来会快，而在系统实际使用时设置较大的，因为这样对访问客户来说速度会快些。最大连接数是连接池中允许连接的最大数目，具体设置多少，要看系统的访问量，可通过反复测试，找到最佳点。
如何确保连接池中的最小连接数呢？有动态和静态两种策略。动态即每隔一定时间就对连接池进行检测，如果发现连接数量小于最小连接数，则补充相应数量的新连接以保证连接池的正常运转。静态是发现空闲连接不够时再去检查。
理解了连接池的原理就可以了，没有必要什么都从头写一遍，那样会花费很多时间，并且性能及稳定性也不一定满足要求。事实上，已经存在很多流行的性能优良的第三方数据库连接池jar包供我们使用。如：
其中c3p0已经很久没有更新了。DBCP更新速度很慢，基本处于不活跃状态，而Druid和HikariCP处于活跃状态的更新中。
问题一：什么是数据库连接池，有什么作用？ 数据库连接是一种有限的昂贵的资源，
数据库连接影响到程序的性能指标。
数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、
管理和释放数据库连接，
它允许应用程序重复使用一个现有的数据库连接，
而再不是重新建立一个；
释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数
据库连接而引起的数据库连接遗漏。
这项技术能明显提高对数据库 *** 作的性能。
问题二：什么是数据库连接池？谢谢了 数据库连接池，简称dbcp databa绩e connection pool
存在意义：
数据库的连接是非常耗费系统资源的，一个应用通常都是需要与数据库打交道，也就需要经常连接数据库，这样导致浪费大量系统资源；
连接池的原理就是：我事先创建好几个数据库连接放着，当我的系统需要 *** 作数据库时就从连接池里直接拿连接，并将这个连接标记为 忙 ；用完后在放会池中，标记为 空闲；；；
当连接池里的连接都在被使用，如果此时还要连接，连接池就会在创建连接放到池里，，这些连接的数量，都是在配置文件里由你控制的
问题三：数据库连接池是什么意思？ 像打开关闭数据库连接这种和数据库的交互可能是很费时的，尤其是当客户端数量增加的时候，会消耗大量的资源，成本是非常高的。可以在应用服务器启动的时候建立很多个数据库连接并维护在一个池中。连接请求由池中的连接提供。在连接使用完毕以后，把连接归还到池中，以用于满足将来更多的请求。
问题四：数据库连接池的工作机制是什么? 为什么要使用数据库连接池？
答：
由于创建连接的代价是很高的, 我们每次访问数据库都重新创建连接的话是非常消耗性的.
我们可以再程序启动的时候先创建出一些连接, 放在一个 *** 中, 访问数据库的时候从 *** 中获取, 使用结束再放回 *** 中.
这样做只是在程序启动的时候消耗性能去创建连接, 每次访问数据库的时候都是从内存中获取连接, 可以大大提升效率.
注意事项:
由于池中增删非常频繁, 使用 *** LinkedList效率较高
*** 中所有连接都被占用时创建新连接, 但需要注意连接总数
使用组合模式/动态代理处理释放连接的方法, 当运行close方法时, 将连接放回池中
关于数据库连接池：
数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。
数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库 *** 作的性能。
数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被 使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超 过最大连接数量时，这些请求将被加入到等待队列中。
数据库连接池的最小连接数和最大连接数的设置要考虑到下列几个因素：
1) 最小连接数是连接池一直保持的数据库连接，所以如果应用程序对数据库连接的使用量不大，将会有大量的数据库连接资源被浪费；
2) 最大连接数是连接池能申请的最大连接数，如果数据库连接请求超过此数，后面的数据库连接请求将被加入到等待队列中，这会影响之后的数据库 *** 作。
3) 如果最小连接数与最大连接数相差太大，那么最先的连接请求将会获利，之后超过最小连接数量的连接请求等价于建立一个新的数据库连接。不过，这些大于最小连接数的数据库连接在使用完不会马上被释放，它将被放到连接池中等待重复使用或是空闲超时后被释放。
J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。
调用：客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为 忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。
释放：当使用的池连接调用完成后，池驱动程序将此连接表记为空闲， 其他调用就可以使用这个连接
问题五：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的 对应1、2、4的JDBC驱动程序 连接池一般比直接连接更有优越性 因为它提高了性能的同时还保存了 宝贵的资源。 打开数据库连接时CPU和网络的重要 任务，因此，在整个应用程序的使用过程 当中重复的打开直接连接将导致性能的下降。 而池连接只在服务器启动时打开一次，从而 消除了这种性能问题。 另外，因为连接只用于很短的时间， 所以，连接可以被有效共享， 而且有关连接参数的特有信息， 只对池驱动程序有效， 如数据库用户名称和密码， 从而增强了系统的安全性和可管理性。
问题六：数据库连接池的工作机制是什么 连接池的实现是以空间换时间。
J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。当使用的池连接调用完成后，池驱动程序将此连接表记为空闲，其他调用就可以使用这个连接。
问题七：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的
对应1、2、4的JDBC驱动程序
连接池一般比直接连接更有优越性
因为它提高了性能的同时还保存了
宝贵的资源。
打开数据库连接时CPU和网络的重要
任务，因此，在整个应用程序的使用过程
当中重复的打开直接连接将导致性能的下降。
而池连接只在服务器启动时打开一次，从而
消除了这种性能问题。
另外，因为连接只用于很短的时间，
所以，连接可以被有效共享，
而且有关连接参数的特有信息，
只对池驱动程序有效，
如数据库用户名称和密码，
从而增强了系统的安全性和可管理性。
问题八：开源的数据库连接池和普通的数据库连接池有什么区别 在项目中尝试使用了几种开源的数据库连接池实现。一种是dbcp，一种是c3p0，还有一种是proxool，这几种数据库连接池都可以很容易的在Spring配置起来。性能总体上上感觉dbcp为最优，因为稳定性和并发性都是我的项目需要的。
项目中经过反复测试，如果web server和数据库server不是同一个机器的话，在断网时间比较短的时间内三种数据库连接池都能较好的重连，但是在断网时间超过8个钟头 proxool就不能恢复工作了。但是dbcp却能很快的重新连接。实际生产环境中稳定性和总体性能是最重要的，都需要做相应的测试才能放心的让系统上生产线。
这里给出项目中数据库连接池配置：
dbcp的jndi：13 4 java:p/env/jdbc/mysql5 6 proxool(proxool-0.9.0RC1)的配置： .mysql.jdbc.Driver jdbc:mysql:ip:3306/dbname?useUnicode=true&characterEncoding=utf8&autoReconnect=true user password 500 15000 select CURRENT_DATE true mysqlProxoolDataSource 1000 false 建议使用DBCP，配置在tomcat中，然后在spring中使用jndi的形式获取。 c3p0(c3p0-0.9.0)： 1 3 4 .mysql.jdbc.Driver 5 6 7 jdbc:mysql:192.168.0.225:3306/sendinmdb?useUnicode=true&characterEncoding=utf8&autoReconnect=true 8 9 10 ********11 12 13 ********14 15 16 10017 18 19 5020 21 22 10023 24 25 100026 27 28 3029 30 直接copy &paste到spring配置文件里就可以使用了。 配置一些额外的tomcat 的DBCP连接池参数，也可以更好的使用到类似proxool提供的功能，只是dbcp更加稳定而已。tomcat/conf/context.xml中插入一个Resource元素： 解释一下以下这些参数的含义：
validationQuery = select current_date()
testOnBorrow = true
testOnReturn = false
testWhileIdle = true
当 从池中获取一个Connection后使用 select current_date() 来测试该数据库连接的可用性，如果SQL语句返回结果则认为是一个有效的连接，否则将继续测试知道可以拿到有效的连接。当返回Connection给池的时候不进行验证，但是Connection空闲的时候就要进行认证。
timeBetweenEvictionRunsMillis = 15000
DBCP 清空线程睡眠的间隙，如值为负数则不运行该线程
numTestsPerEvictionRun = 10"......>>
问题九：sqlite 使用什么数据库连接池 数据库连接是一种有限的昂贵的资源，
数据库连接影响到程序的性能指标。
数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、
管理和释放数据库连接，
它允许应用程序重复使用一个现有的数据库连接，
而再不是重新建立一个；
释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数
据库连接而引起的数据库连接遗漏。
这项技术能明显提高对数据库 *** 作的性能。
问题十：说出数据连接池的工作机制是什么? 以典型的数据库连接池为例：首先普通的数据库访问是这样的：程序和数据库建立连接，发送数据 *** 作的指令，完成后断开连接。等下一次请求的时候重复这个过程，即每个请求都需要和数据库建立连接和断开连接，这样当数据量大的时候系统的消耗是很大的。连接池就是为了解决这个问题：在一个空间中预先建立好一定数量的连接，当程序请求数据时直接使用池中的现存的连接，不需要重复建立连接和断开的过程，节省了时间提高了性能
开始本文之前，我们看一段Go连接数据库的代码：
本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能。
转自：https://www.jianshu.com/p/cbfc398bd4d6
整理：地鼠文档：www.topgoer.cn
那么sql.DB连接池是如何工作的呢?
需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。
当您使用Go执行数据库 *** 作时，它将首先检查池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。
当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。
连接池有四个方法，我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。
SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下，打开的连接数是无限的。
一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低。
但让它无限并不是最好的选择。默认情况下，PostgreSQL最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动返回”sorry, too many clients already”错误。
为了避免这个错误，将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。
设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。
但设定上限有一个重要的警告。如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。
SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限。缺省情况下，最大空闲连接数为2。
理论上，在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—，因此有助于节省资源。
但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。例如，默认情况下MySQL会自动关闭任何8小时未使用的连接。
因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源。因此保持适量的空闲连接是必要的。理想情况下，你只希望保持一个连接空闲，可以快速使用。
另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点，并在必要时自动减少MaxIdleConns值。
SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间。默认连接的存活时间没有限制，永久可用。
如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。但需要注意：
理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接。但是在某些情况下，设置短期存活时间有用。比如：
如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。
SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理 *** 作删除。
这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源。
所以有很多信息要吸收。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。
1、根据经验，您应该显式地设置MaxOpenConns值。这个值应该低于数据库和 *** 作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用。
对于本书中的项目，我们将MaxOpenConns限制为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值。
2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。
因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns限制为25个连接。
3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟。
4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬限制，或者您需要它协助一些 *** 作，比如优雅地交换数据库。这些都不适用于本项目，所以我们将保留这个默认的无限制配置。
与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置。
ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。这里有几个选择:
1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration。
2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。
3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:
File: cmd/api/main.go
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）