数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。
简单的说：创建数据库连接是一个很耗时的 *** 作，也容易对数据库造成安全隐患。所以，在程序初始化的时候，集中创建多个数据库连接，并把他们集中管理，供程序使用，可以保证较快的数据库读写速度，还更加安全可靠。
不使用数据库连接池
如果不使用数据库连接池，对于每一次SQL *** 作，都要走一遍下面完整的流程：
1.TCP建立连接的三次握手（客户端与 MySQL服务器的连接基于TCP协议）
2.MySQL认证的三次我收
3.真正的SQL执行
4.MySQL的关闭
5.TCP的四次握手关闭
可以看出来，为了执行一条SQL，需要进行大量的初始化与关闭 *** 作
使用数据库连接池
如果使用数据库连接池，那么会 事先申请（初始化）好 相关的数据库连接，然后在之后的SQL *** 作中会复用这些数据库连接， *** 作结束之后数据库也不会断开连接，而是将数据库对象放回到数据库连接池中
资源重用：由于数据库连接得到重用，避免了频繁的创建、释放连接引起的性能开销，在减少系统消耗的基础上，另一方面也增进了系统运行环境的平稳性（减少内存碎片以及数据库临时进程/线程的数量）。
更快的系统响应速度：数据库连接池在初始化过程中，往往已经创建了若干数据库连接置于池中备用。 此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了从数据库连接初始化和释放过程的开销，从而缩减了系统整体响应时间。
统一的连接管理，避免数据库连接泄露：在较为完备的数据库连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规数据库连接 *** 作中可能出现的资源泄露。
如果说你的服务器CPU是4核i7的，连接池大小应该为((4*2)+1)=9
相关视频推荐
90分钟搞懂数据库连接池技术|linux后台开发
《tcp/ip详解卷一》： 150行代码拉开协议栈实现的篇章
学习地址：C/C++Linux服务器开发/后台架构师【零声教育】-学习视频教程-腾讯课堂
需要C/C++ Linux服务器架构师学习资料加qun 812855908 获取（资料包括 C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg 等），免费分享
源码下载
下载方式：https://github.com/dongyusheng/csdn-code/tree/master/db_pool（Github中下载）
db_pool目录下有两个目录，mysql_pool目录为MySQL连接池代码，redis_pool为redis连接池代码
下面介绍mysql_pool
CDBConn解析
概念： 代表一个数据连接对象实例
相关成员：
m_pDBPool：该数据库连接对象所属的数据库连接池
构造函数： 绑定自己所属于哪个数据库连接池
Init()函数： 创建数据库连接句柄
CDBPool解析
概念：代表一个数据库连接池
相关成员：
Init()函数：常见指定数量的数据库实例句柄，然后添加到m_free_list中，供后面使用
GetDBConn()函数： 用于从空闲队列中返回可以使用的数据库连接句柄
RelDBConn()函数： 程序使用完该数据库句柄之后，将句柄放回到空闲队列中
测试之前，将代码中的数据库地址、端口、账号密码等改为自己的（代码中有好几处）
进入MySQL， 创建mysql_pool_test数据库
进入到mysql_pool目录下， 创建一个build目录并进入 ：
然后输入如下的命令进行编译
之后就会在目录下生成如下的可执行文件
输入如下两条命令进行测试： 可以看到不使用数据库连接池，整个 *** 作耗时4秒左右；使用连接池之后，整个 *** 作耗时2秒左右，提升了一倍
源码下载
下面介绍redis_pool
测试
进入到redis_pool目录下， 创建一个build目录并进入 ：
然后输入如下的命令进行编译
之后就会在目录下生成如下的可执行文件
输入如下的命令进行测试： 可以看到不使用数据库连接池，整个 *** 作耗时182ms；使用连接池之后，整个 *** 作耗时21ms，提升了很多
进入redis，可以看到我们新建的key：
在了解连接池之前，我们需要对长、短链接建立初步认识。我们都知道，网络通信大部分都是基于 TCP/IP 协议，数据传输之前，双方通过“ 三次握手 ”建立连接，当数据传输完成之后，又通过“ 四次挥手 ”释放连接，以下是“三次握手”与“四次挥手”示意图：
三次握手建立连接示意图：
四次挥手释放连接示意图：
长、短连接是相对通信时间而言的。长连接相对短连接而言，多了一个 保持连接 的过程，可以在一个连接上可以连续发送多个数据包，在连接保持期间，如果没有数据包发送，需要双方发链路检测包。
短连接的 *** 作步骤是：
建立连接——数据传输——关闭连接…建立连接——数据传输——关闭连接
client向server发起连接请求，server接到请求，然后双方建立连接。client向server发送消息，server回应client，然后一次请求就完成了。这时候双方任意都可以发起close *** 作，不过一般都是client先发起close *** 作。上述可知，短连接一般只会在 client/server间传递一次请求 *** 作。
短连接的优点是：管理起来比较简单，存在的连接都是有用的连接，不需要额外的控制手段。
长连接的 *** 作步骤是：
建立连接——数据传输…（保持连接）…数据传输——关闭连接
client向server发起连接，server接受client连接，双方建立连接，client与server完成一次请求后，它们之间的连接并不会主动关闭，后续的读写 *** 作会继续使用这个连接。
TCP长连接保持的两种办法：
自定义心跳消息头.，一般客户端主动发送到服务端，服务器接收后进行回应(也可以不回应)，以便能够侦测连接是否异常断开。
通过设置TCP keepalive的属性，并设置发送底层心跳包的时间间隔。TCP keepalive是在底层定时发送心跳报文，服务器端接收到底层的心跳报文直接丢弃，不关心其内容。
HTTP协议是无状态的，在HTTP/1.0中默认使用短连接，客户端和服务器每进行一次HTTP *** 作，浏览器就会重新建立一个HTTP会话。
而从HTTP/1.1起，默认使用长连接，用以保持连接特性，使用长连接的HTTP协议，会在响应头加入这行代码：
在使用长连接的情况下，当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP连接不会关闭，客户端再次访问这个服务器时，会继续使用这一条已经建立的连接。Keep-Alive不会永久保持连接，它有一个保持时间，可以在不同的服务器软件中设定这个时间。实现长连接需要客户端和服务端都支持长连接。
HTTP协议的长连接和短连接，实质上是TCP协议的长连接和短连接。
基于TCP/IP协议，我们可以知道，频繁的连接创建和销毁都需要消耗资源，而连接池是将已经创建好的连接保存在池中，当有请求来时，直接使用已经创建好的连接进行访问，这样省略了创建连接和销毁连接的过程。这样性能上得到了提高。
以数据库连接池为例，基本原理如下：
连接池技术带来的好处：
由于连接得到重用，避免了频繁创建、释放连接引起的大量性能开销。在减少系统消耗的基础上，另一方面也增进了系统运行环境的平稳性（减少内存碎片以及临时进程/线程的数量）。
连接池在初始化过程中，往往已经创建了若干连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了连接初始化和释放过程的时间开销，从而缩减了系统整体响应时间。
在较为完备的连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规连接 *** 作中可能出现的资源泄漏。
以PHP开发为例，基于PHP-FPM机制实现的Web服务，并不容易实现连接池，而常驻内存的开发框架，例如workerman、swoole 则可以简单实现连接池功能。PHP-FPM机制下的连接池需要借助第三方Proxy实现，例如：
写JDBC connection pool 的注意事项有：1. 有一个简单的函数从连接池中得到一个 Connection。
2. close 函数必须将connection 放回 数据库连接池。
3. 当数据库连接池中没有空闲的connection，数据库连接池必须能够自动增加connection 个数。
4. 当数据库连接池中的connection 个数在某一个特别的时间变得很大，但是以后很长时间只用其中一小部分，应该可以自动将多余的connection 关闭掉。
5. 如果可能，应该提供debug 信息报告没有关闭的new Connection 。
如果要new Connection 就可以直接从数据库连接池中返回Connection， 可以这样写( Mediator pattern ) (以下代码中使用了中文全角空格)：
public class EasyConnection implements java.sql.Connection{
private Connection m_delegate = null
public EasyConnection(){
m_delegate = getConnectionFromPool()
}
public void close(){
putConnectionBackToPool(m_delegate)
}
public PreparedStatement prepareStatement(String sql) throws SQLException{
m_delegate.prepareStatement(sql)
}
//...... other method
}
看来并不难。不过不建议这种写法，因为应该尽量避免使用Java Interface, 关于Java Interface 的缺点我另外再写文章讨论。大家关注的是Connection Pool 的实现方法。下面给出一种实现方法。
import java.sql.*
import java.lang.reflect.*
import java.util.*
import java.io.*
public class SimpleConnetionPool {
private static LinkedList m_notUsedConnection = new LinkedList()
private static HashSet m_usedUsedConnection = new HashSet()
private static String m_url = ""
private static String m_user = ""
private static String m_password = ""
static final boolean DEBUG = true
static private long m_lastClearClosedConnection = System.currentTimeMillis()
public static long CHECK_CLOSED_CONNECTION_TIME = 4 * 60 * 60 * 1000//4 hours
static {
initDriver()
}
private SimpleConnetionPool() {
}
private static void initDriver() {
Driver driver = null
//load mysql driver
try {
driver = (Driver) Class.forName("com.mysql.jdbc.Driver").newInstance()
installDriver(driver)
} catch (Exception e) {
}
//load postgresql driver
try {
driver = (Driver) Class.forName("org.postgresql.Driver").newInstance()
installDriver(driver)
} catch (Exception e) {
}
}
public static void installDriver(Driver driver) {
try {
DriverManager.registerDriver(driver)
} catch (Exception e) {
e.printStackTrace()
}
}
public static synchronized Connection getConnection() {
clearClosedConnection()
while (m_notUsedConnection.size() >0) {
try {
ConnectionWrapper wrapper = (ConnectionWrapper) m_notUsedConnection.removeFirst()
if (wrapper.connection.isClosed()) {
continue
}
m_usedUsedConnection.add(wrapper)
if (DEBUG) {
wrapper.debugInfo = new Throwable("Connection initial statement")
}
return wrapper.connection
} catch (Exception e) {
}
}
int newCount = getIncreasingConnectionCount()
LinkedList list = new LinkedList()
ConnectionWrapper wrapper = null
for (int i = 0i <newCounti++) {
wrapper = getNewConnection()
if (wrapper != null) {
list.add(wrapper)
}
}
if (list.size() == 0) {
return null
}
wrapper = (ConnectionWrapper) list.removeFirst()
m_usedUsedConnection.add(wrapper)
m_notUsedConnection.addAll(list)
list.clear()
return wrapper.connection
}
private static ConnectionWrapper getNewConnection() {
try {
Connection con = DriverManager.getConnection(m_url, m_user, m_password)
ConnectionWrapper wrapper = new ConnectionWrapper(con)
return wrapper
} catch (Exception e) {
e.printStackTrace()
}
return null
}
static synchronized void pushConnectionBackToPool(ConnectionWrapper con) {
boolean exist = m_usedUsedConnection.remove(con)
if (exist) {
m_notUsedConnection.addLast(con)
}
}
public static int close() {
int count = 0
Iterator iterator = m_notUsedConnection.iterator()
while (iterator.hasNext()) {
try {
( (ConnectionWrapper) iterator.next()).close()
count++
} catch (Exception e) {
}
}
m_notUsedConnection.clear()
iterator = m_usedUsedConnection.iterator()
while (iterator.hasNext()) {
try {
ConnectionWrapper wrapper = (ConnectionWrapper) iterator.next()
wrapper.close()
if (DEBUG) {
wrapper.debugInfo.printStackTrace()
}
count++
} catch (Exception e) {
}
}
m_usedUsedConnection.clear()
return count
}
private static void clearClosedConnection() {
long time = System.currentTimeMillis()
//sometimes user change system time,just return
if (time <m_lastClearClosedConnection) {
time = m_lastClearClosedConnection
return
}
//no need check very often
if (time - m_lastClearClosedConnection <CHECK_CLOSED_CONNECTION_TIME) {
return
}
m_lastClearClosedConnection = time
//begin check
Iterator iterator = m_notUsedConnection.iterator()
while (iterator.hasNext()) {
ConnectionWrapper wrapper = (ConnectionWrapper) iterator.next()
try {
if (wrapper.connection.isClosed()) {
iterator.remove()
}
} catch (Exception e) {
iterator.remove()
if (DEBUG) {
System.out.println("connection is closed, this connection initial StackTrace")
wrapper.debugInfo.printStackTrace()
}
}
}
//make connection pool size smaller if too big
int decrease = getDecreasingConnectionCount()
if (m_notUsedConnection.size() <decrease) {
return
}
while (decrease-- >0) {
ConnectionWrapper wrapper = (ConnectionWrapper) m_notUsedConnection.removeFirst()
try {
wrapper.connection.close()
} catch (Exception e) {
}
}
}
public static int getIncreasingConnectionCount() {
int count = 1
int current = getConnectionCount()
count = current / 4
if (count <1) {
count = 1
}
return count
}
public static int getDecreasingConnectionCount() {
int count = 0
int current = getConnectionCount()
if (current <10) {
return 0
}
return current / 3
}
public synchronized static void printDebugMsg() {
printDebugMsg(System.out)
}
public synchronized static void printDebugMsg(PrintStream out) {
if (DEBUG == false) {
return
}
StringBuffer msg = new StringBuffer()
msg.append("debug message in " + SimpleConnetionPool.class.getName())
msg.append("\r\n")
msg.append("total count is connection pool: " + getConnectionCount())
msg.append("\r\n")
msg.append("not used connection count: " + getNotUsedConnectionCount())
msg.append("\r\n")
msg.append("used connection, count: " + getUsedConnectionCount())
out.println(msg)
Iterator iterator = m_usedUsedConnection.iterator()
while (iterator.hasNext()) {
ConnectionWrapper wrapper = (ConnectionWrapper) iterator.next()
wrapper.debugInfo.printStackTrace(out)
}
out.println()
}
public static synchronized int getNotUsedConnectionCount() {
return m_notUsedConnection.size()
}
public static synchronized int getUsedConnectionCount() {
return m_usedUsedConnection.size()
}
public static synchronized int getConnectionCount() {
return m_notUsedConnection.size() + m_usedUsedConnection.size()
}
public static String getUrl() {
return m_url
}
public static void setUrl(String url) {
if (url == null) {
return
}
m_url = url.trim()
}
public static String getUser() {
return m_user
}
public static void setUser(String user) {
if (user == null) {
return
}
m_user = user.trim()
}
public static String getPassword() {
return m_password
}
public static void setPassword(String password) {
if (password == null) {
return
}
m_password = password.trim()
}
}
class ConnectionWrapper implements InvocationHandler {
private final static String CLOSE_METHOD_NAME = "close"
public Connection connection = null
private Connection m_originConnection = null
public long lastAccessTime = System.currentTimeMillis()
Throwable debugInfo = new Throwable("Connection initial statement")
ConnectionWrapper(Connection con) {
this.connection = (Connection) Proxy.newProxyInstance(
con.getClass().getClassLoader(),
new Class[]{Connection.class}, this)
m_originConnection = con
}
void close() throws SQLException {
m_originConnection.close()
}
public Object invoke(Object proxy, Method m, Object[] args) throws Throwable {
Object obj = null
if (CLOSE_METHOD_NAME.equals(m.getName())) {
SimpleConnetionPool.pushConnectionBackToPool(this)
}
else {
obj = m.invoke(m_originConnection, args)
}
lastAccessTime = System.currentTimeMillis()
return obj
}
}
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）