spark连接数据库连接数过高

spark连接数据库连接数过高,第1张

使用MySQL数据库,有一个容易出现的问题——Too many connections。连接数超过。

我们知道,由于SUPER权限有很多特权,因此不会把这个权限给予应用的账号。但是,当应用异常或者数据库异常,达到最大连接数的时候,用管理账号登录,有时候仍然会报Too many connections。此时,如果应用不能及时处理,数据库这边就很难办了。

所以,当应用异常并且频繁尝试建立连接的时候,常能占据那第max_connections+1个连接。super账号由于拿不到线程,因此也是Too many connections了。

1.首先,看了看SQL Server服务器属性的配置,看到连接数为0,即不限制,SQLserver最大连接数为32767。看来应该不是这里的问题

2.百度了一下,发现可能是程序的数据库连接字符串出了问题

自己写了个代码测试一下

class Program

{

private static void Main(string[] args)

{

TestSQLServerConnectionCount()

Console.Read()

}

public static void TestSQLServerConnectionCount()

{

try

{

int maxCount = 40000

string connectionString =

"Data Source=localhostInitial Catalog=EveryDayTestUser Id=saPassword=sa123"

for (int i = 1i <maxCounti++)

{

var db = new SqlConnection(connectionString)

db.Open()

Console.WriteLine("已创建连接对象" + i)

}

}

catch (Exception ex)

{

Console.WriteLine(ex.Message)

}

}

}

发现最多只能创建100个,

然后添加了属性Max Pool Size=101,又测了一下,恩可以了

。恩果然是这里,不过。在测试系统的时候发现,有的时候连接数到达40多或60多或80多后就不再增长了,难道说这里有个重复利用数据库连接的机制?

找了一下,发现有个Pooling属性,默认为true,于是加上了这条Pooling=false,运行一下

哇擦,已经超过了32767!!!难道说这个属性可以让连接反复利用,从连接池取出来可以再次使用的连接对象?还是说根本不受连接池的最大限制?

果然,看了一下连接池的运行方式发现:

1、当一个程序执行Connection.open()时候,ADO.net就需要判断,此连接是否支持Connection Pool (Pooling 默认为True)

(1)、如果指定为False, ADO.net就与数据库之间创建一个连接,然后返回给程序。

(2)、如果指定为 True,ADO.net就会根据ConnectString创建一个Connection Pool,然后向Connection Pool中填充Connection。填充多少个Connection由Min Pool Size (默认为0)属性来决定。例如如果指定为5,则ADO.net会一次与SQL数据库之间打开5个连接,然后将4个Connection,保存在 Connection Pool中,1个Connection返回给程序。

2、当程序执行到Connection.close() 的时候。如果Pooling 为True,ADO.net 就把当前的Connection放到Connection Pool并且保持与数据库之间的连接。

同时还会判断Connection Lifetime(默认为0)属性,0代表无限大,如果Connection存在的时间超过了Connection LifeTime,ADO.net就会关闭的Connection同时断开与数据库的连接,而不是重新保存到Connection Pool中。

3、当下一次Connection.Open() 执行的时候,ADO.Net就会判断新的ConnectionString与之前保存在Connection Pool中的Connection的connectionString是否一致。

4、 ADO.net需要判断当前的Connection Pool中是否有可以使用的Connection(没有被其他程序所占用),如果没有的话,ADO.net就需要判断ConnectionString设 置的Max Pool Size (默认为100)

(1)、如果Connection Pool中的所有Connection没有达到Max Pool Size,ADO.net则会再次连接数据库,创建一个连接,然后将Connection返回给程序。

(2)、如果已经达到了 MaxPoolSize,ADO.net就不会再次创建任何新的连接,而是等待Connection Pool中被其他程序所占用的Connection释放,这个等待时间受SqlConnection.ConnectionTimeout(默认是15 秒)限制,也就是说如果时间超过了15秒,SqlConnection就会抛出超时错误。

5、如果有可用的Connection,从Connection Pool 取出的Connection也不是直接就返回给程序,ADO.net还需要检查ConnectionString的ConnectionReset属性 (默认为True)是否需要对Connection 最一次reset。

-------------------摘自《http://www.studyofnet.com/news/637.html 数据库最大连接池max pool size》

不过,为什么系统测试时到了60左右的连接数不再增长了?max


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6691318.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-26
下一篇 2023-03-26

发表评论

登录后才能评论

评论列表(0条)

保存