如何提高服务器并发数

消除瓶颈是提高服务器性能和并发能力的唯一途径。
如果你能够消除所有的瓶颈，你就能够最大的发挥硬件性能，让系统的性能和并发数到达最佳。
采用多线程多核编程，使用事件驱动或异步消息机制，尽量减少阻塞和等待 *** 作（如I/O阻塞、同步等待或计时/超时等）。
原理：
1、多线程多核编程，消除cpu瓶颈。
2、采用IOCP或epoll，利用状态监测和通知方式，消除网络I/O阻塞瓶颈。
3、采用事件驱动或异步消息机制，可以消除不必要的等待 *** 作。
4、如果是Linux，可以采用AIO来消除磁盘I/O阻塞瓶颈。
5、在事件驱动框架或异步消息中统一处理timer事件，变同步为异步，而且可以在一个线程处理无数timer事件。
6、深入分析外部的阻塞来源，消除它。
比如数据库查询较慢，导致服务器处理较慢，并发数上不去，这时就要优化数据库性能。
7、如果与某个其他server通信量很大，导致性能下降较多。
可以考虑把这两个server放在一个主机上，采用共享内存的方式来做IPC通信，可以大大提高性能。

有什么方法衡量服务器并发处理能力
1 吞吐率
吞吐率，单位时间里服务器处理的最大请求数，单位req/s
从服务器角度，实际并发用户数的可以理解为服务器当前维护的代表不同用户的文件描述符总数，也就是并发连接数。服务器一般会限制同时服务的最多用户数，比如apache的MaxClents参数。
这里再深入一下，对于服务器来说，服务器希望支持高吞吐率，对于用户来说，用户只希望等待最少的时间，显然，双方不能满足，所以双方利益的平衡点，就是我们希望的最大并发用户数。
2 压力测试
有一个原理一定要先搞清楚，假如100个用户同时向服务器分别进行10个请求，与1个用户向服务器连续进行1000次请求，对服务器的压力是一样吗？实际上是不一样的，因对每一个用户，连续发送请求实际上是指发送一个请求并接收到响应数据后再发送下一个请求。这样对于1个用户向服务器连续进行1000次请求, 任何时刻服务器的网卡接收缓冲区中只有1个请求，而对于100个用户同时向服务器分别进行10个请求，服务器的网卡接收缓冲区最多有100个等待处理的请求，显然这时的服务器压力更大。
压力测试前提考虑的条件
并发用户数: 指在某一时刻同时向服务器发送请求的用户总数(>

21 测试环境

作者使用了Tomcat作为Web服务器进行测试，被测试的内容是一个jsp文件和一个servlet，jsp文件调用JavaBean、打印相关信息，servlet接受用户参数、调用javabean、输出相关信息。详细的内容请参考作者提供的JMeterwar的内容。

22 安装启动JMeter

大家可以到通过>

现在，请使用%JMeter%/bin下面的jmeterbat批处理文件来启动JMeter的可视化界面，下面的工作都将在这个可视化界面界面上进行 *** 作。下面的是JMeter的可视化界面的屏幕截图。

图一： JMeter打开时的屏幕截图

图一： JMeter打开时的屏幕截图

23 建立测试计划（Test Plan）

测试计划描述了执行测试过程中JMeter的执行过程和步骤，一个完整的测试计划包括一个或者多个线程组(Thread Groups)、逻辑控制（Logic Controller）、实例产生控制器（Sample Generating Controllers）、侦听器(Listener)、定时器（Timer）、比较（Assertions）、配置元素（Config Elements）。打开JMeter时，它已经建立一个默认的测试计划,一个JMeter应用的实例只能建立或者打开一个测试计划。

现在我们开始填充一个测试计划的内容，这个测试计划向一个jsp文件和一个servlet发出请求，我们需要JMeter模拟五个请求者（也就是五个线程），每个请求者连续请求两次，下面的章节介绍了详细的 *** 作步骤。

24 增加负载信息设置

这一步，我们将向测试计划中增加相关负载设置,是Jmeter知道我们需要模拟五个请求者，每个请求者在测试过程中连续请求两次。详细步骤如下：

1 选中可视化界面中左边树的Test Plan节点，单击右键，选择Add'Thread Group，界面右边将会出现他的设置信息框。

2 Thread Group有三个和负载信息相关的参数：

Number of Threads： 设置发送请求的用户数目

Ramp-up period： 每个请求发生的总时间间隔，单位是秒。比如你的请求数目是5，而这个参数是10，那么每个请求之间的间隔就是10／5，也就是2秒

Loop Count： 请求发生的重复次数，如果选择后面的forever（默认），那么 请求将一直继续，如果不选择forever，而在输入框中输入数字，那么请求将重复 指定的次数，如果输入0，那么请求将执行一次。

根据我们演示例子的设计，我们应该将Number of Threads设置为5，Ramp-up period设置为0（也就是同时并发请求），不选中forever，在Loop Count后面的输入框中输入2，设置后的屏幕截图如下：

图二：设置好参数的Thread Group。

图二：设置好参数的Thread Group。

25 增加默认>

实际的测试工作往往是针对同一个服务器上Web应用展开的,所以Jmeter提供了这样一种设置, 在默认>

我们这里将采用这种属性。你可以通过下面的步骤来设置默认>

1 选中可视化界面中左边树的Test Plan节点，单击右键，选择Add'config element'>

2 默认>

protocal：发送测试请求时使用的协议

server name or ip：被测试服务器的ip地址或者名字

path： 默认的起始位置。比如将path设置为／jmeter，那么所有的>

port number： 服务器提供服务的端口号

我们的测试计划将针对本机的Web服务器上的Web应用进行测试，所以protocal应该是>

图三： 测试计划中使用的默认>

图三： 测试计划中使用的默认>

26 增加>

现在我们需要增加>

1 选中可视化界面中左边树的Thread Group节点，单击右键，选择Add'sampler'>

2 他的参数和25中介绍的>

我们现在增加两个>

图四：设置好的jsp测试请求

图四：设置好的jsp测试请求

图五：设置好的Servlet测试请求（带参数）

图五：设置好的Servlet测试请求（带参数）

27 增加Listener

增加listener是为了记录测试信息并且可以使用Jmeter提供的可视化界面查看测试结果，里面有好几种结果分析方式可供选择，你可以根据自己习惯的分析方式选择不同的结果显示方式，我们这里使用表格的形式来查看和分析测试结果。你可以通过下面的步骤来增加listener：

1 选中可视化界面中左边树的Test Plan节点，单击右键，选择Add'listener'view result in table，界面右边将会出现他的设置信息和结果显示框。

2 你可以设置界面上面的filename属性设置将测试结果保存到某个文件中 界面下面将使用表格显示测试结果，表格的第一列sampleno显示请求执行的顺序和编号，url显示请求发送的目标，sample－ms列显示这个请求完成耗费的时间，最后的success列显示改请求是否成功执行。

界面的最下面你还可以看到一些统计信息，最关心的应该是Average吧，也就是相应的平均时间。

28 开始执行测试计划

现在你可以通过单击菜单栏run -> Start开始执行测试计划了。下面这两个图是作者第一次、第二次执行该测试计划的结果图:

大家可以看到第一次执行时的几个大时间值均来自于jsp request，这可以通过下面的理由进行解释：jsp执行前都需要被编译成class文件。所以第二次的结果才是正常的结果。

提供几种供你思路：

1、网站页面静态化。静态化的页面为html(htm等)不需要web服务器重新加载项解析，只需要生成一次，以后每次都直接下载到客户端，效率高很多。

2、将网站的web服务器、数据库服务器、和文件服务器分开。通过将服务器专业化分工，以提高网站访问速度。因为和文件在下载的时候无论是IIS、Apache等服务器都会有很大压力。

3、设置专门的数据缓存服务器。将大量数据放到缓存数据区，在访问量少得时候存入数据，减少连接直接 *** 作数据库的开销。

4、数据库集群、库表散列。大型网站在面对大量访问的时候，会显现数据库的瓶颈，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列来分散压力。

5、镜像。镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。

6、负载均衡。负载均衡将是大型网站解决高负荷访问和大量并发请求采用的高端解决办法。

7、最新：CDN加速技术。什么是CDN？CDN的全称是内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，提高用户访问网站的响应速度。CDN有别于镜像，因为它比镜像更智能，或者可以做这样一个比喻：CDN=更智能的镜像+缓存+流量导流。

1、提供HTML静态访问
web界面上最快的访问速度是什么？当然是最原始的HTML文件访问,对于其他语言 比如 jsp ,asp,php等等,他们首先要通过服务器解析成html之后在返回给访问者，如果我们能提供全部是htm来的页面，那么就能大大的降低服务器和数据库资源的利用和提高网站的并发，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。当然实现这种方式大家比较了解的就是信息发布系统CMS,信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。
在后续的文章中我们会单独的使用jsp + servlet实现一个简单的信息发布系统
2、使用独立的服务器
为什么要把单独设置一个服务器？对于Web服务器来说，消耗的服务器资源是最多的，如果能把所有的资源放到一个单独的服务器中进行处理的话，可以降低提供页面访问请求的服务器系统压力，从而能进一步的提高web程序的并发所以在有条件的情况下最好能把放置到一个单独的服务器中
3、配置多台数据库服务器，多个数据库集群
集群（Cluster）技术是使用特定的连接方式，将价格相对较低的硬件设备结合起来，同时也能提供高性能相当的任务处理能力。
越是大型高并发的应用，数据库的压力就会越大，如果数据库 *** 作很频繁，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群。
数据库集群就是使用多个数据库服务器分担请求的压力，达到快速响应的目的
4、使用缓存
所谓的缓存就是把数据咱是放置到内存中，前台在请求的时候直接从内存中读取数据，而不需要去查询数据库或者读取文件等，这样就能做到最快的响应。网站架构和网站开发中的缓存是非常重要的。
目前有很多开源的缓冲实现方案，APC，File，SQLite，Memcache等等各种类库实现着不同的缓存方式，只有通过了解他们的实现方式，根据具体应用具体选择，才会使缓存系统发挥出最大的性能。
对于java开发来说，大名顶顶的 分布式缓存系统Memcache 可能是最好的选择，他提供一个基于Socket的访问方式，使得该缓存系统支持远程读写访问。尽管这个缓存的内容可能是存在内存中，也可能是存在文件内。

---