高性能MySQL：测试何种指标

测试何种指标

在开始执行甚至是在设计基准测试之前 需要先明确测试的目标 测试目标决定了选择什么样的测试工具和技术 以获得精确而有意义的测试结果 可以将测试目标细化为一系列的问题 比如 这种CPU 是否比另外一种要快？ 或 新索引是否比当前索引性能更好？

有时候需要用不同的方法测试不同的指标 比如 针对延迟（latency）和吞吐量（throughput）就需要采用不同的测试方法

请考虑以下指标 看看如何满足测试的需求

吞吐量

吞吐量指的是单位时间内的事务处理数 这一直是经典的数据库应用测试指标 一些标准的基准测试被广泛地引用 如TPC C（参考// tpc ） 而且很多数据库厂商都努力争取在这些测试中取得好成绩 这类基准测试主要针对在线事务处理（OLTP）的吞吐量 非常适用于多用户的交互式应用 常用的测试单位是每秒事务数（TPS） 有些也采用每分钟事务数（TPM）

响应时间或者延迟

这个指标用于测试任务所需的整体时间 根据具体的应用 测试的时间单位可能是微秒 毫秒 秒或者分钟 根据不同的时间单位可以计算出平均响应时间 最小响应时间 最大响应时间和所占百分比 最大响应时间通常意义不大 因为测试时间越长 最大响应时间也可能越大 而且其结果通常不可重复 每次测试都可能得到不同的最大响应时间 因此 通常可以使用百分比响应时间（percentile responsetime）来替代最大响应时间 例如 如果 % 的响应时间都是 毫秒 则表示任务在 % 的时间段内都可以在 毫秒之内完成

使用图表有助于理解测试结果 可以将测试结果绘制成折线图（比如平均值折线或者 % 百分比折线）或者散点图 直观地表现数据结果集的分布情况 通过这些图可以发现长时间测试的趋势 本章后面将更详细地讨论这一点

并发性

并发性是一个非常重要又经常被误解和误用的指标 例如 它经常被表示成多少用户在同一时间浏览一个Web 站点 经常使用的指标是有多少个会话注 然而 HTTP协议是无状态的 大多数用户只是简单地读取浏览器上显示的信息 这并不等同于Web 服务器的并发性 而且 Web 服务器的并发性也不等同于数据库的并发性 而仅仅只表示会话存储机制可以处理多少数据的能力 Web 服务器的并发性更准确的度量指标 应该是在任意时间有多少同时发生的并发请求

在应用的不同环节都可以测量相应的并发性 Web 服务器的高并发 一般也会导致数据库的高并发 但服务器采用的语言和工具集对此都会有影响 注意不要将创建数据库连接和并发性搞混淆 一个设计良好的应用 同时可以打开成百上千个MySQL 数据库服务器连接 但可能同时只有少数连接在执行查询 所以说 一个Web 站点 同时有 个用户 访问 却可能只有 ～ 个并发请求到MySQL 数据库

换句话说 并发性基准测试需要关注的是正在工作中的并发 *** 作 或者是同时工作中的线程数或者连接数 当并发性增加时 需要测量吞吐量是否下降 响应时间是否变长 如果是这样 应用可能就无法处理峰值压力

并发性的测量完全不同于响应时间和吞吐量 它不像是一个结果 而更像是设置基准测试的一种属性 并发性测试通常不是为了测试应用能达到的并发度 而是为了测试应用在不同并发下的性能 当然 数据库的并发性还是需要测量的 可以通过sy *** ench 指定 或者 个线程的测试 然后在测试期间记录MySQL 数据库的Threads_running 状态值 在第 章将讨论这个指标对容量规划的影响

可扩展性

在系统的业务压力可能发生变化的情况下 测试可扩展性就非常必要了 第 章将更进一步讨论可扩展性的话题 简单地说 可扩展性指的是 给系统增加一倍的工作 在理想情况下就能获得两倍的结果（即吞吐量增加一倍） 或者说 给系统增加一倍的资源（比如两倍的CPU 数） 就可以获得两倍的吞吐量 当然 同时性能（响应时间）也必须在可以接受的范围内 大多数系统是无法做到如此理想的线性扩展的 随着压力的变化 吞吐量和性能都可能越来越差

可扩展性指标对于容量规范非常有用 它可以提供其他测试无法提供的信息 来帮助发现应用的瓶颈 比如 如果系统是基于单个用户的响应时间测试（这是一个很糟糕的测试策略）设计的 虽然测试的结果很好 但当并发度增加时 系统的性能有可能变得非常糟糕 而一个基于不断增加用户连接的情况下的响应时间测试则可以发现这个问题

一些任务 比如从细粒度数据创建汇总表的批量工作 需要的是周期性的快速响应时间 当然也可以测试这些任务纯粹的响应时间 但要注意考虑这些任务之间的相互影响 批量工作可能导致相互之间有影响的查询性能变差 反之亦然

归根结底 应该测试那些对用户来说最重要的指标 因此应该尽可能地去收集一些需求 比如 什么样的响应时间是可以接受的 期待多少的并发性 等等 然后基于这些需求来设计基准测试 避免目光短浅地只关注部分指标 而忽略其他指标

       返回目录 高性能MySQL

       编辑推荐

       ASP NET开发培训视频教程

数据仓库与数据挖掘培训视频教程

lishixinzhi/Article/program/MySQL/201311/29741

我觉得至少有2这种解决方法：

1.修改datarecord的入库机制

既然datarecord里面有大量的数据，但是你需要的是统计出来每个Id的Value最大值，根据这一点

你在向datarecord存入数据时就应该先比较一下，只把比比某个ID的最大的value更大的数存到数据库里，

这种 *** 作其实非常简单，这样的话在datarecord里面存的数据都是截止当前每个ID的最大的value，使用的时候直接使用了，但是你要把每个ID最大的value

写入，然后要把较小的那个给删掉，这样的话，在写入数据时都要查询会影响到入库的性能。

这种机制再向前推进一步，就是在内存里维持一个MAP，名为DatarecordMap,然后再创建一个class,用datarecord表的各个字段值作为属性，

用key=ID,value=Object(Time,value,Quality),

每当有一个新的数据要存入这个MAP时，比较一下，总是把每个ID,最大的value存入MAP,这样比存入如数据库的读写性能高多了

其实你总的ID才1250个,并不算大放内存里处理效率会高很多

这种方法最大的优点是只在内存中保留每个ID最大的value值(其实是整个记录)

因此实际需要的内存并不大

代码：

public class Datarecord {

private int id

private Date time

private int Value

private int Quality=0

public Datarecord(int id,Date time,int Value){

this.id = id

this.time =time

this.Value =Value

}

<此处掠去set get方法>

}

import java.util.Date

import java.util.HashMap

import java.util.Map

import java.util.Random

public class SaveRecord {

/**

* @param args

*/

public static void main(String[] args) {

Map<Integer,Datarecord>DatarecordMap = new HashMap<Integer,Datarecord>()

Datarecord data =null

Random rand = new Random()

int id,value

int number=100000

long t1 = System.currentTimeMillis()

for(int i=1i<=numberi++){

//rand.nextInt(MAX - MIN + 1) + MIN

//模拟产生id,范围1 -- 5

id = rand.nextInt(10) + 1

//模拟产生value，范围1 --- 10000

value = rand.nextInt(100000) + 1

//System.out.println("id:"+id + " value:"+value)

if (DatarecordMap.containsKey(id)){

data = DatarecordMap.get(id)

//判断DatarecordMap 里面当前id对应的value是否被新的value小，如果小直接把这个小的覆盖掉

if (data.getValue()<value){

data = new Datarecord(id,new Date(),value)

DatarecordMap.put(id, data)

}

}else{

data = new Datarecord(id,new Date(),value)

DatarecordMap.put(id, data)

}

}

long t2 = System.currentTimeMillis()

System.out.println("产生"+number+"个数据,用时:"+(t2-t1)+"ms.")

System.out.println("输出每个id 的最大VALUE值========================")

long t3 = System.currentTimeMillis()

for(Integer key:DatarecordMap.keySet()){

System.out.println("id:"+key + " value:"+DatarecordMap.get(key).getValue())

}

long t4 = System.currentTimeMillis()

System.out.println("用时:"+(t4-t3)+"ms.")

}

测试结果：

产生100000个数据,用时:26ms.

输出每个id 的最大VALUE值========================

id:1 value:99995

id:2 value:99996

id:3 value:99994

id:4 value:99996

id:5 value:99992

id:6 value:99996

id:7 value:99993

id:8 value:99993

id:9 value:99990

id:10 value:99977

用时:1ms.

上面的代码模拟产生了100000个数据，用时26ms，数据库无论如何不到这样的性能，在第2个循环中输出每个ID的最大值，用时1ms,你在实际的应用中

可以把这个输出结果先生成一个数据文件，然后用mysql的load命令导入，时间会在不会大于1秒，其实每个ID的最大值汇总在一起并不多，在你的应用中有

1250个，用load命令导入的话，1秒不到就轻松搞定

2.优化数据库

其实写了上面的方法，我已经不想写这个了，这个无论咋优化都打不到第一种方法的性能

如果你觉得第一种方法datarecord表似乎已经没用了，但是又需要要把数据持久化到datarecord表里，可以定时把DatarecordMap表的数据取出，全部写到datarecord表里

但是要先清空这个表的数据，这样的话在某个周期内，datarecord表的数据总是每个ID的最大值

---